딥마인드 경고: 단일 벡터 임베딩의 수학적 한계, RAG의 병목

벡터 검색의 숨은 병목: 무엇이 문제인가

벡터 임베딩은 텍스트·이미지·오디오 같은 비정형 데이터를 고차원 수치 벡터로 표현해 의미적 유사성을 파악하도록 하는 현대 엔터프라이즈 AI의 핵심 기술이다. 그러나 구글 딥마인드의 최신 연구는 이 접근법, 특히 단일 벡터 임베딩이 갖는 근본적 수학적 한계를 제시하며, 복잡한 검색·검색증강생성(RAG) 시나리오에서 예상치 못한 실패를 일으킬 수 있음을 보여준다. 이 문제는 더 큰 모델이나 더 많은 학습 데이터로 해결되지 않으며, 아키텍처 자체의 용량이 병목이라는 점이 핵심이다.

핵심 발견: 임계점과 표현 용량의 한계

대부분의 RAG 시스템에서 쓰이는 밀집 검색(dense retrieval)은 질의를 벡터로 변환하고, 질의 벡터와 가장 가까운 문서 벡터를 찾아 관련 문서를 반환한다. 연구진은 난이도의 본질을 “질의가 임의의 문서 부분집합을 회수해야 할 수 있는 정도”라고 정의했다. “누가 사과를 좋아하나요?” 같은 단순 질의와 “Alice는 사과·바나나를 좋아한다”와 같은 단순 문서조차, 문서 간 추상적 관계를 연결해야 하므로 모델이 표현해야 할 ‘관련 문서 집합’의 조합 수가 기하급수적으로 늘어난다.

완전한 세계의 실험: 자유 임베딩 최적화

이론적 한계를 입증하기 위해 연구진은 언어 모델을 배제하고, 숫자 벡터 자체를 직접 최적화하는 “자유 임베딩 최적화”를 설계했다. 이는 자연어가 주는 제약을 제거하고 벡터 공간의 순수한 기하학적 용량만을 검증하는 최선의 조건이다. 그럼에도 명확한 파손 지점이 관찰됐다. 주어진 임베딩 차원에서 문서 수가 특정 ‘임계점’을 넘으면 가능한 관련 결과의 모든 조합을 표현할 수 없었다. 즉 차원이 복잡성을 인코딩하기에 근본적으로 부족한 순간이 존재한다.

이 결과를 웹 규모로 외삽하면, “이상적인 테스트셋 최적화가 가능하더라도, 웹 규모 검색에서는 가장 큰 임베딩 차원조차 모든 조합을 모델링하기에 충분치 않다”는 결론에 이른다. 단일 벡터 임베딩 접근법의 수학에는 태생적 천장이 있다.

기존 벤치마크가 놓친 것

대부분의 산업 벤치마크는 이 약점을 드러내지 못한다. 예컨대 32만5천 개 문서를 담은 QUEST는 ‘관련 문서 20개 조합’이 7.1×10^91(숫자 71 뒤에 0이 90개)개에 달하지만, 실제 질의는 3천 개에 불과해 공간의 극히 일부만을 시험한다. 이를 보완하려고 연구진은 LIMIT라는 데이터셋을 만들었다. 질의는 “누가 사과를 좋아하나요?”처럼 단순하고 문서도 명확하지만, 하나의 문서가 여러 질의에 동시에 관련될 수 있도록 설계해 ‘겹치는 관련성 조합’을 대거 유도한다.

LIMIT에서의 성능: 예기치 못한 역전

구글, 스노우플레이크 등 최첨단 임베딩 모델 다수가 LIMIT 전체 과제에서 리콜 20% 미만의 성능을 보였던 반면, 수십 년 된 희소 기반 알고리즘인 BM25는 뛰어난 성과를 냈다. 더 나아가 LIMIT 학습 버전으로 미세 조정했음에도 성능 향상은 미미했다. 이는 도메인 이동 문제가 아니라 아키텍처의 근본적 용량 한계임을 시사한다. 단일 벡터 임베딩만으로는 과제를 풀기에 표현력이 부족한 것이다.

엔터프라이즈를 위한 실천 가이드

경고 신호를 조기에 포착하기

질의가 본질적으로 여러 문서를 함께 요구(예: compare, and, both)할 때 실패가 잦다면, 기하학적 한계에 근접했다는 신호다. 예컨대 문서는 PR, 질의는 diff인 코드베이스에서는 임의의 두 PR이 어떤 diff에는 동시에 관련될 가능성이 높아 단일 벡터 임베딩이 구조적으로 고전한다.

더 탄탄한 시스템: 하이브리드 검색 아키텍처

의미 이해와 개념적 근접성에서는 밀집 임베딩이, 명시적 제약 충족과 조합적 강인성에서는 BM25 같은 희소 방법이 강점이다. 두 방식을 결합하면 제약을 빠뜨리지 않으면서 의미적 탐색도 유지하는, 보다 회복탄력적인 파이프라인을 구축할 수 있다. 단일 ‘최적 문서’가 뚜렷한 단순 과제라면 순수 임베딩으로도 충분할 수 있다.

평가 전략을 다시 설계하기

리더보드 의존은 실제 조합적 질의를 반영하지 못한다. 내부 평가에서 단일 문서 정답 대신 ‘특정 문서 쌍/삼중’을 회수해야 하는 테스트케이스를 합성해, 모델이 정해진 문서 집합을 끝까지 찾아내는지 점검하라.

실제 적용 예시

조합적 질의 전용 테스트 설계

코퍼스에서 속성 A와 B를 동시에 만족하는 문서 쌍을 레이블링하고, “A이면서 B인 사례를 모두 제시하라” 같은 질의를 생성해 리콜@k와 집합 일치도를 측정한다.

하이브리드 파이프라인 샘플 구성

1단계: BM25로 제약 충족 상위 N개 후보를 확보하고, 2단계: 밀집 임베딩으로 의미 유사도 재랭킹, 3단계: 교차 인코더로 최종 rerank를 수행해 누락을 최소화한다.

대안 아키텍처와 향후 로드맵

연구는 교차 인코더(질의·문서를 공동 처리), 멀티벡터 모델(여러 임베딩으로 세부 뉘앙스 포착), BM25 같은 희소 기법의 재평가를 권고한다. 이는 LIMIT가 드러낸 취약점을 보완한다. 동시에 연구진은 “이론적으로 단일 벡터 임베딩의 기하 용량은 강력하지만, 실증적으로 그 잠재력을 완전히 끌어내는 훈련에 아직 이르지 못했다”고 지적하며, MTEB 등 인기 벤치마크 편향을 넘어 보다 엄밀한 평가와 임베딩 기반 검색의 원리 혁신을 촉구한다.

요약하자면, 단일 벡터 임베딩만으로는 조합적 관련성을 포괄하기 어렵다. 복잡한 추론 요구가 커질수록 하이브리드 전략과 더 표현력 있는 모델로의 점진적 전환이 안전하다.