정확하지만 불완전한 AI, LexisNexis의 그래프 RAG·에이전트 해법

법률 AI에서 '정확성'만으론 부족한 이유

많은 기업이 AI를 구축·학습·배포할 때 정확성을 최우선으로 삼지만, 법처럼 복잡하고 미묘한 영역에서는 정확성만으로는 모자랍니다. LexisNexis는 표준 검색증강생성(RAG)을 넘어 그래프 RAG와 에이전틱 그래프를 도입하고, 요청을 분해하고 스스로 출력을 비판하는 '플래너'와 '리플렉션' 에이전트를 구축했습니다. Min Chen 최고 AI 책임자는 '완벽한 AI는 없다'며 불확실성을 최대한 관리해 일관된 고객 가치를 제공하는 것이 목표라고 말합니다. 이는 법률 AI의 근본 과제이기도 합니다.

'완전성'과 신뢰성 평가: 서브 메트릭

Chen의 팀은 모델과 출력을 평가하기 위해 권위성, 인용 정확성, 환각률뿐 아니라 '완전성'을 포함한 여러 서브 메트릭으로 유용성을 정량화합니다. 예컨대 사용자의 질문이 다섯 가지 법적 고려사항을 요구하는데 생성형 AI가 그중 세 가지만 정확히 답하면, 관련성은 있어도 답은 불완전해 사용자 관점에서 부적절합니다. 또한 의미상 관련 있어 보여도 법정에서 뒤집힌 판례를 인용하면 '인용 불가'이므로 쓸모가 없습니다. 이런 기준이 법률 AI의 신뢰성을 좌우합니다.

표준 RAG를 넘어: 그래프 RAG와 지식 그래프

LexisNexis는 2023년 초안 작성·리서치·분석용 법률 AI 도구 'Lexis+ AI'를 출시했습니다. 이는 표준 RAG와 하이브리드 벡터 검색으로, 신뢰받는 LexisNexis 지식 기반에 답변을 근거화합니다. 이어 2024년에는 개인 법률 비서 'Protégé'를 선보이며 벡터 검색 위에 지식 그래프 레이어를 추가해 순수 시맨틱 검색의 한계를 보완했습니다. 초기 시맨틱 검색이 맥락상 관련 문서를 찾더라도 항상 '권위 있는' 답을 보장하진 않기에, 반환 결과를 '법률 쟁점(point of law) 그래프'로 횡단해 가장 권위 높은 문서를 추가 필터링합니다. 이것이 그래프 RAG의 강점입니다.

에이전틱 그래프와 에이전트: 플래너·리플렉션

팀은 더 나아가 에이전틱 그래프(에이전트형 그래프)와 자동화를 고도화해 복잡한 다단계 작업을 계획·실행하는 능력을 키우고 있습니다. 연구 질의응답에선 자율형 '플래너 에이전트'가 사용자의 질문을 하위 질문으로 쪼개고, 사용자는 이를 검토·수정해 답변을 개인화합니다. 거래 문서 작성에선 '리플렉션 에이전트(자기평가 에이전트)'가 초안을 자동으로 비판하고 피드백을 반영해 실시간으로 개선합니다. 이는 인간을 배제하려는 것이 아니라, 전문가와 AI가 함께 학습·추론·성장하는 협업을 지향합니다. 이 같은 협업은 법률 AI의 품질을 지속적으로 끌어올립니다.

데이터 기반 신뢰 확보: Henchman 인수와 근거화

LexisNexis는 Henchman 인수를 통해 자사 고유 데이터와 고객 데이터를 결합, 모델을 더 탄탄한 근거로 고정(grounding)했습니다. 권위 있는 코퍼스에 근거한 그래프 RAG와 지식 그래프는 답변의 출처성과 검증 가능성을 강화해 법률 AI의 실무 활용성을 높입니다.

엔터프라이즈 적용 포인트: KPI·평가·삼각형 트레이드오프

실험에 앞서 KPI와 '성공'의 정의를 먼저 세워야 하며, 결정적(deterministic) 평가와 비결정적 평가의 차이를 이해해야 합니다. 또한 비용·속도·품질이라는 '삼각형'의 균형 속에서 지속적인 실험·반복·개선을 수행해야 합니다. 결국 핵심은 'AI 결과의 품질'이며, 이는 장기적인 여정입니다. 이러한 원칙이 법률 AI 도입의 실패를 줄이고 일관된 고객 가치를 만듭니다.

더 알아보기

자세한 내용은 VentureBeat의 'Beyond the Pilot' 팟캐스트에서 확인할 수 있으며, Spotify와 Apple 등 주요 플랫폼에서 시청·구독할 수 있습니다.