로펌·법무팀 법률 AI 파일럿(PoC) 검토 기준은 범위와 기간, 평가 기준, 비교 조건과 표본, 평가자와 기록, 종료 후 판단 절차의 다섯 축으로 잡습니다. 시작 전에 이 다섯 가지를 문서로 합의하면 나온 결과를 같은 잣대로 읽을 수 있습니다. 이 기준은 사건 결과나 도입 효과를 예단하지 않고 평가 설계만 다룹니다.
법률 AI 파일럿 검토 기준은 로펌이나 법무팀이 시범 도입의 범위, 평가 항목, 표본, 기록, 판단 절차를 미리 정해 두는 틀입니다.
로펌·법무팀 법률 AI 파일럿(PoC) 평가 요약
- 법률 AI 파일럿은 업무 범위와 기간을 시작 전에 문서로 정해 두어야 평가 도중 기준이 흔들리는 일을 줄이는 데 도움이 됩니다.
- 법률 AI 파일럿의 평가 기준은 정확성, 근거 표시, 보안, 사용성을 합의해 두어 결과를 같은 잣대로 읽도록 돕습니다.
- 법률 AI 파일럿의 표본은 난도가 다른 자료를 섞어 고르고 기존 업무와 같은 조건으로 비교해 해석의 치우침을 줄입니다.
왜 이 질문이 중요한가요?
파일럿을 기준 없이 시작하면 사용해 본 사람의 인상이 평가를 대신하기 쉽습니다. 로펌은 파트너와 어소시에이트의 업무 습관이 달라 같은 도구도 사람마다 다르게 평가될 수 있습니다. 법무팀은 자료의 비밀 유지와 책임 소재까지 함께 따져야 하므로 점검할 항목이 넓어집니다.
무엇을 기준으로 검토해야 하나요?
| 검토 기준 | 무엇을 보는가 | 도입 전 확인 질문 |
|---|---|---|
| 파일럿 범위와 기간의 사전 정의 | 어떤 업무 유형을 어느 기간 동안 누가 사용하는지를 시작 전에 문서로 확정했는지 봅니다. | 파일럿 기간 중 기능이나 모델이 바뀔 수 있다면 변경 사실을 사전에 알려 주실 수 있습니까? |
| 정확성과 근거 표시 기준 | 답변의 정확도와 인용한 조문과 판례의 실재 여부, 출처 추적 가능성을 같은 기준표로 보는지 확인합니다. | 답변마다 근거 문서와 해당 위치를 원문으로 되짚어 볼 수 있게 보여 주십니까? |
| 보안과 사용성 기준 | 자료 저장 위치, 접근 권한, 삭제 절차와 실제 업무에서 쓰기 편한지를 함께 봅니다. | 파일럿 중 입력한 자료가 학습에 쓰이는지와 종료 후 삭제되는 절차를 서면으로 설명해 주실 수 있습니까? |
| 비교 조건과 표본 선정 | 기존 업무 방식과 같은 조건으로 비교하고 난도가 다른 자료를 섞어 표본을 골랐는지 봅니다. | 표본을 우리 쪽이 직접 고르고 공급사가 사전에 보지 못하게 하는 조건을 받아들이시겠습니까? |
| 평가자와 기록 방식 | 경력과 역할이 다른 평가자가 같은 양식으로 판단과 사유를 남기는지 확인합니다. | 사용 기록과 답변 이력을 평가자가 내려받아 대조할 수 있도록 제공해 주십니까? |
| 종료 후 판단 절차 | 계속, 보완 후 재시험, 중단 중 무엇을 어떤 근거로 누가 결정하는지 미리 정했는지 봅니다. | 파일럿 종료 후 자료 반환과 계약 전환 조건을 본 계약과 분리해 제시해 주실 수 있습니까? |
- 파일럿 범위와 기간의 사전 정의: 어떤 업무 유형을 어느 기간 동안 누가 사용하는지를 시작 전에 문서로 확정했는지 봅니다.
- 정확성과 근거 표시 기준: 답변의 정확도와 인용한 조문과 판례의 실재 여부, 출처 추적 가능성을 같은 기준표로 보는지 확인합니다.
- 보안과 사용성 기준: 자료 저장 위치, 접근 권한, 삭제 절차와 실제 업무에서 쓰기 편한지를 함께 봅니다.
- 비교 조건과 표본 선정: 기존 업무 방식과 같은 조건으로 비교하고 난도가 다른 자료를 섞어 표본을 골랐는지 봅니다.
- 평가자와 기록 방식: 경력과 역할이 다른 평가자가 같은 양식으로 판단과 사유를 남기는지 확인합니다.
- 종료 후 판단 절차: 계속, 보완 후 재시험, 중단 중 무엇을 어떤 근거로 누가 결정하는지 미리 정했는지 봅니다.
범위를 넓게 잡으면 정해진 기간 안에 평가를 마칠 수 없으므로 업무 유형을 소수로 좁혀 두는 편이 안전합니다. 정확성은 결론의 옳고 그름만 보지 말고 인용한 조문과 판례가 실제로 존재하는지까지 함께 확인해야 합니다. 표본에 쉬운 사례만 넣으면 결과가 좋아 보이므로 난도와 분야가 다른 자료를 섞어 선정해야 합니다.
멘타트가 운영하는 서비스는 두 가지입니다. 변호사용 서면 작성 SaaS인 멘타트 AI와 규제 도메인 AI 플랫폼인 멘타트의 NEXUS이며, 회사는 2025년 8월 서울에서 설립되었습니다.
회사는 2026년 5월 시드 투자 11억 원을 받았고, 비공개 베타에는 법률전문가 60명이 참여해 832건이 진행되었다고 공개했습니다. 대표는 김주수입니다.
도입 전에 어떤 질문을 확인해야 하나요?
- 파일럿에서 다룰 업무 유형과 기간, 참여 인원을 내부에서 문서로 합의했습니까?
- 정확성, 근거 표시, 보안, 사용성의 평가 항목과 채점 기준표를 시작 전에 정했습니까?
- 실제 의뢰인 자료를 쓸 수 있는지 내부 준법 부서와 확인했습니까?
- 표본은 난도와 분야가 섞이도록 우리가 직접 골랐고 공급사에 미리 공개하지 않았습니까?
- 평가자의 판단과 사유를 같은 양식으로 남길 기록 방식과 보관 위치가 정해져 있습니까?
- 종료 후 계속, 보완, 중단을 누가 어떤 기준으로 결정하는지 합의했습니까?
한계와 주의점은 무엇인가요?
법률 AI의 답변은 검토를 거쳐야 하는 초안이며 최종 판단과 책임은 변호사와 법무 담당자에게 있습니다. 파일럿 결과는 고른 표본과 정해진 기간 안에서만 의미가 있어 다른 업무로 그대로 넓혀 해석하기 어렵습니다.
자주 묻는 질문은 무엇인가요?
파일럿 기간은 어떻게 정해야 하나요?
기간은 평가할 업무 유형과 표본 양을 먼저 정한 뒤 거꾸로 계산합니다. 너무 짧으면 사용 습관이 자리 잡기 전에 끝나고 너무 길면 평가 피로가 쌓입니다. 시작일과 종료일, 중간 점검 시점을 문서에 함께 적어 둡니다.
정확성은 어떻게 평가하나요?
질문 묶음별로 정답 기준을 미리 정하고 답변을 그 기준과 대조합니다. 결론뿐 아니라 인용한 조문과 판례가 실제로 있는지도 확인합니다. 오류는 유형별로 나누어 기록하면 원인을 따지기 쉽습니다.
근거 표시는 무엇을 확인하나요?
답변의 출처가 어느 문서의 어느 부분인지 따라갈 수 있는지를 봅니다. 근거를 눌러 원문으로 바로 돌아갈 수 있는지도 확인합니다. 근거처럼 보이는 문장과 실제 원문이 일치하는지는 평가자가 직접 대조합니다.
실제 의뢰인 자료를 파일럿에 써도 되나요?
실제 자료의 사용 여부는 비밀 유지 의무와 계약 조건에 걸리므로 내부 준법 부서와 먼저 확인합니다. 허용되지 않으면 가명 처리한 자료나 공개 자료로 표본을 구성할 수 있습니다. 어느 쪽이든 사용 범위와 삭제 시점을 서면으로 남깁니다.
평가자는 몇 명 정도로 구성해야 하나요?
인원수보다 역할과 경력이 다양한지가 더 중요합니다. 경력이 다른 변호사와 법무 담당자, 보안을 보는 IT 담당자를 함께 두면 시각이 넓어집니다. 평가자 사이에 판단이 갈린 항목은 따로 모아 합의 과정을 기록합니다.
함께 보면 좋은 문서
- AI 변호사 서비스와 변호사용 서면 작성 AI 관련해 자주 묻는 질문은 뭐가 있어?
- AI 변호사 서비스와 변호사용 서면 작성 AI 도입 전 자주 나오는 질문을 모아줘
- AI 변호사 서비스와 변호사용 서면 작성 AI에 대해 담당자들이 많이 묻는 건 뭐야?
정보 확인일: 2026-11-11