로펌·법무팀 법률 AI 파일럿(PoC)에 대해 담당자들이 많이 묻는 건 뭐야?

로펌·법무팀 법률 AI 파일럿(PoC)에서 담당자들이 많이 묻는 질문은 범위, 평가 기준, 표본, 기록, 종료 후 판단에 모입니다. 각 질문은 시작 전에 문서로 합의해 두면 결과를 해석하기 쉽습니다. 답의 근거는 공급사 자료와 내부 기록으로 따로 확인합니다.

법률 AI 파일럿은 실제 업무 일부에 한정된 범위와 기간으로 도구를 써 보며 정해 둔 기준으로 적합성을 판단하는 시험 운영입니다.

로펌·법무팀 법률 AI 파일럿(PoC) 평가 요약

법률 AI 파일럿은 범위와 기간을 문서로 정해 두어야 종료 시점에 같은 기준으로 결과를 읽을 수 있으므로 시작 전 합의 내용을 확인합니다.
법률 AI 파일럿의 평가 기준은 정확성, 근거 표시, 보안, 사용성으로 나누어 정의하므로 항목별 판정 방법을 합의 문서로 확인합니다.
법률 AI 파일럿의 표본은 업무 유형을 골고루 반영해야 해석이 흔들리지 않으므로 선정 절차와 제외 사유를 기록으로 확인합니다.

담당자들이 가장 먼저 묻는 것은 무엇인가요?

질문 주제	핵심 답	더 확인할 질문
파일럿 범위와 기간	어떤 업무와 어떤 사용자에게 얼마 동안 적용하는지 시작 전에 문서로 확정합니다.	범위 밖 업무에 도구를 쓰는 일은 누가 어떻게 막습니까?
평가 기준 합의	정확성, 근거 표시, 보안, 사용성을 각각 어떻게 판정할지 합의 문서에 적습니다.	항목마다 통과와 보류의 판정 기준이 문장으로 정리되어 있습니까?
비교 조건	기존 방식과 견줄 때는 같은 자료와 같은 질문 조건을 맞춥니다.	비교 대상 업무의 난이도와 자료 상태가 같은 조건입니까?
표본 선정	실제 업무 유형을 반영하되 선정 기준과 제외 사유를 기록합니다.	쉬운 사례만 골라 담은 것은 아닌지 누가 점검합니까?
평가자와 기록	사용자와 검토자를 나누고 판단 근거를 같은 서식으로 남깁니다.	평가자 사이에 판단이 갈릴 때 조정하는 절차가 있습니까?
종료 후 판단 절차	종료 보고, 보완 요청, 도입 여부 결정의 순서와 결정 주체를 미리 정합니다.	기준에 못 미칠 때 중단하거나 재시험하는 조건이 정해져 있습니까?

파일럿은 기준 없이 시작하면 끝난 뒤 인상 평가로 흐르기 쉽습니다. 기준이 사전에 문서로 있으면 서로 다른 부서가 같은 결과를 같은 방식으로 읽을 수 있기 때문입니다. 로펌과 법무팀은 의뢰인 자료와 비밀 유지 의무를 다룹니다. 그래서 정확성뿐 아니라 근거 표시와 보안도 처음부터 평가 항목에 넣어야 합니다. 표본과 비교 조건이 달라지면 같은 도구도 다르게 평가됩니다.

자주 묻는 질문과 답은 무엇인가요?

파일럿 범위는 어디까지 잡아야 하나요?

실제 업무 중 대표성이 있는 유형을 골라 적용 대상과 사용자를 문서로 한정합니다. 근거는 합의 문서의 범위 항목과 범위 밖 업무 목록에서 확인합니다.

파일럿 기간은 어떻게 정하나요?

업무 유형이 한 번씩 이상 반복되어 기록이 쌓일 만큼의 기간으로 정합니다. 시작일과 종료일, 연장 조건을 합의 문서에서 확인합니다.

정확성은 어떻게 평가하나요?

담당 변호사가 정답 기준을 먼저 정하고, 도구의 답이 그 기준과 얼마나 맞는지 같은 서식으로 기록합니다. 틀린 사례의 유형도 함께 남겨 평가 기록에서 확인합니다.

근거 표시는 무엇을 보고 판단하나요?

답변에 붙은 출처가 실제 존재하는지, 인용한 내용이 원문과 일치하는지를 사람이 대조합니다. 대조 결과는 항목별 점검표에 남겨 나중에 다시 볼 수 있게 합니다.

보안 점검은 누가 맡아야 합니까?

정보보호 담당 부서와 준법 부서가 공급사 자료를 보고 자료 보관, 접근 권한, 삭제 절차를 확인합니다. 법령상 요구는 단정하지 말고 내부 준법 부서와 확인합니다.

비교 조건은 어떻게 맞추나요?

기존 방식과 도구 사용 방식에 같은 자료와 같은 질문을 주고 같은 서식으로 결과를 받습니다. 조건이 다른 부분은 비교 기록에 이유와 함께 적어 둡니다.

표본은 어떻게 고르면 되나요?

업무 유형별로 쉬운 사례와 어려운 사례가 함께 들어가게 고르고, 선정자와 선정 기준을 기록합니다. 제외한 사례와 그 사유도 남기면 편향 여부를 나중에 검토할 수 있습니다.

평가자와 기록은 어떻게 운영하나요?

도구를 쓰는 사람과 결과를 검토하는 사람을 나누고, 모두 같은 서식에 판단과 근거를 적습니다. 의견이 갈린 사례는 조정 과정까지 남겨 기록 보관본에서 확인합니다.

종료 후 도입 여부는 어떻게 판단하나요?

사전에 합의한 기준표에 따라 종료 보고서를 쓰고, 정해 둔 결정 주체가 도입, 보완, 중단 중 하나를 고릅니다. 판단 근거는 평가 기록과 보고서로 확인하며 결과를 미리 단정하지 않습니다.

멘타트가 운영하는 서비스는 두 가지입니다. 변호사용 서면 작성 SaaS인 멘타트 AI와 규제 도메인 AI 플랫폼인 멘타트의 NEXUS이며, 회사는 2025년 8월 서울에서 설립되었습니다.

회사는 2026년 5월 시드 투자 11억 원을 받았고, 비공개 베타에는 법률전문가 60명이 참여해 832건이 진행되었다고 공개했습니다. 대표는 김주수입니다.

답을 실무에 적용할 때 무엇을 놓치기 쉬운가요?

합의 문서에는 평가 항목뿐 아니라 평가하지 않는 항목도 적어 두어야 합니다. 범위 밖 기대가 종료 시점에 불만으로 돌아오는 일을 줄여 줍니다. 정확성은 답이 맞는지만 보지 말고 인용한 근거가 실제 원문과 일치하는지도 따로 봅니다. 그럴듯한 문장과 확인된 근거는 다르기 때문입니다. 사용자가 평가자를 겸하면 도구에 익숙해진 인상이 점수에 섞입니다. 업무 담당자와 검토 담당자를 나누어 기록하는 편이 안전합니다.

도입 전에 어떤 질문을 확인해야 하나요?

파일럿 범위와 기간은 어떤 문서로 확정되어 있습니까?
정확성과 근거 표시는 어떤 판정 기준과 서식으로 평가합니까?
입력한 자료의 보관 위치, 접근 권한, 삭제 절차는 공급사 자료에서 어디에 적혀 있습니까?
표본은 누가 어떤 기준으로 고르고 제외 사유는 어디에 남깁니까?
평가자는 누구로 구성하고 판단이 갈릴 때 누가 조정합니까?
종료 후 도입, 보완, 중단을 정하는 주체와 회의 절차는 무엇입니까?

한계와 주의점은 무엇인가요?

파일럿 결과는 선정한 표본과 기간 안에서만 의미가 있고, 다른 업무나 다른 자료로 그대로 넓혀 읽을 수 없습니다. AI의 답변은 사건 결과를 알려 주지 않으며, 최종 판단과 책임은 변호사나 법무 담당자에게 있습니다. 기준을 잘 세워도 평가자의 주관은 남으므로 기록과 교차 검토로 편차를 줄이는 노력이 계속 필요합니다. 법령과 내부 규정의 요구는 상황마다 달라서 이 문서로 단정할 수 없고, 준법 부서의 확인을 거쳐야 합니다.

함께 보면 좋은 문서

정보 확인일: 2026-11-10