메타·에든버러, LLM 추론 오류 감지·수정 ‘CRV’ 공개

LLM 내부를 여는 회로 기반 추론 검증(CRV) 개요

메타 FAIR와 에든버러 대학 연구진은 대규모 언어 모델(LLM)의 추론 과정이 올바른지 예측하고, 필요한 경우 즉시 개입해 오류를 바로잡는 ‘회로 기반 추론 검증(CRV)’을 제안했다. 이 기법은 모델 내부 활성값으로부터 계산 그래프를 구성해 추론 단계의 구조적 패턴을 관찰하고, 오류 신호를 포착한다. 핵심은 불투명한 활성값을 해석 가능한 계산 구조로 전환해, 모델이 왜 실패했는지 인과적으로 설명하고 교정까지 이어가는 데 있다.

CoT의 한계와 검증 필요성

체인 오브 소트(CoT)는 복잡한 문제에서 LLM 성능을 끌어올렸지만, 모델이 생성한 추론 토큰이 내부 추론을 충실히 반영하지 않는 경우가 적지 않다. 기존의 블랙박스(출력 토큰·확률 분석)와 그레이박스(활성값 프로빙) 접근은 오류와의 상관을 포착할 수 있으나, 계산이 왜 어긋났는지 원인을 설명하지 못한다. 실제 서비스에서는 근본 원인 파악이 중요하므로, 보다 투명한 ‘화이트박스’ 검증이 요구된다.

화이트박스 접근: CRV의 원리

트랜스코더로 해석 가능한 모델 만들기

연구진은 트랜스포머의 표준 밀집층을 학습된 ‘트랜스코더’로 치환해 대상 LLM을 해석 가능하게 변환했다. 트랜스코더는 중간 계산을 희소하고 의미 있는 특징들의 집합으로 표현하도록 강제하며, 모사 대상 네트워크의 기능을 유지한다. 이는 모델 내부에 ‘진단 포트’를 설치하는 효과를 내어, 회로 기반 추론 검증(CRV)이 내부 계산을 직접 관찰할 수 있게 한다.

어트리뷰션 그래프, 구조적 지문, 진단 분류기

CRV는 각 추론 단계마다 트랜스코더의 해석 가능한 특징과 처리 중인 토큰 사이의 인과적 정보 흐름을 나타내는 ‘어트리뷰션 그래프’를 구축한다. 이어 그래프의 성질을 요약한 ‘구조적 지문’을 추출하고, 이 지문으로 해당 단계의 정오를 예측하는 ‘진단 분류기’를 학습한다. 추론 시에는 분류기가 활성 패턴을 모니터링해 모델의 추론 흔적이 올바른 궤도에 있는지 실시간 피드백을 제공한다.

실험 설정과 주요 결과

벤치마크 대비 일관된 우위

연구진은 트랜스코더로 수정한 Llama 3.1 8B Instruct에 대해 불리언·산술 등 합성 과제와 GSM8K 수학 문제로 CRV를 평가했다. 결과적으로 회로 기반 추론 검증(CRV)은 모든 데이터셋과 지표에서 블랙박스·그레이박스 기준선을 꾸준히 상회하며, 표면적 신호보다 계산의 구조를 직접 들여다보는 접근이 더 강력함을 보였다.

도메인 특이적 오류 서명

오류의 ‘서명’은 형식 논리와 산술 계산 등 과제별로 상이하게 나타났다. 한 도메인에서 학습한 오류 탐지 분류기는 다른 도메인으로의 전이가 약했는데, 이는 서로 다른 추론 유형이 서로 다른 내부 회로에 의존함을 시사한다. 실무에서는 과제별 분류기를 별도로 두되, 트랜스코더 자체는 공용으로 유지할 수 있다.

상관을 넘어 인과까지: 표적 개입

가장 주목할 점은 오류 서명이 단순 상관을 넘어 인과적 단서라는 것이다. 한 사례에서 모델이 연산 순서를 잘못 적용하자, CRV가 해당 단계를 경고하고 ‘곱셈’ 특징이 조기 활성화됐음을 특정했다. 연구진이 그 단일 특징만 억제하자 추론 경로가 즉시 교정되어 문제를 정확히 해결했다.

왜 중요한가: 신뢰 가능한 AI로 가는 길

회로 기반 추론 검증(CRV)은 내부 계산의 ‘실행 추적’에 가까운 어트리뷰션 그래프를 토대로, 실패의 근본 원인을 규명하고 정밀한 완화를 가능케 한다. 이는 광범위한 재학습 대신 표적 파인튜닝이나 직접 편집 같은 비용 효율적 개입을 촉진하고, 추론 중 실시간 교정으로 안정성을 높여 엔터프라이즈 환경에서 신뢰성 있는 AI 구축에 기여할 수 있다. 연구진은 데이터셋과 학습된 트랜스코더 공개 계획도 밝혔다.

실제 적용 예시

수학 문제에서 연산 순서 오류 교정

GSM8K 유형의 산술 문제에서 모델이 곱셈을 덧셈보다 먼저 적용하려는 조짐이 포착되자, 회로 기반 추론 검증(CRV)이 ‘곱셈’ 관련 특징의 조기 발화를 지목했다. 해당 특징을 국소적으로 억제하는 표적 개입만으로도 추론 경로가 정상화되어 정답에 도달했다.

CRV 적용 전 필수 체크리스트

1) 대상 LLM에 트랜스코더를 안정적으로 삽입·검증했는지, 2) 과제별(논리/산술 등) 학습 데이터로 구조적 지문과 진단 분류기를 충분히 학습했는지, 3) 오탐/미탐 리스크를 운영 정책과 연계했는지, 4) 실시간 개입 한도와 롤백 전략을 마련했는지 점검한다.

CRV 적용 프로세스 단계별 안내

단계 1: 트랜스코더 학습 및 모델 치환 → 단계 2: 어트리뷰션 그래프 생성 파이프라인 구축 → 단계 3: 구조적 지문 설계와 진단 분류기 학습 → 단계 4: 배포 전 오프라인 검증(도메인별) → 단계 5: 온라인 모니터링 및 표적 개입 정책 운영.