메타 ‘DeepConf’: LLM 추론 비용·정확도 조절 다이얼
기사 요약 Meta AI와 UCSD의 DeepConf는 모델 내부 신뢰도 신호로 저품질 추론 경로를 걸러 LLM 정확도를 유지하면서 추론 비용을 크게 낮춘다. 오프라인·온라인 모드와 그룹/테일/최저 그룹 신뢰도 지표로 가중 투표와 조기 중단을 구현해 최대 99.9% 정확도와 최대 84.7% 토큰 절감을 달성했다. 기업은 DeepConf-high와 DeepConf-low 사이에서 위험 허용도에 맞춰 비용·신뢰성 균형을 조절할 수 있으며, 추가 학습 없이 … Read more