Databricks ‘Instructed Retriever’, 메타데이터로 RAG 대비 70% 향상

요약: RAG 한계를 넘어선 메타데이터 중심 검색

Databricks는 최신 연구를 통해 Instructed Retriever가 복잡한 지시가 많은 엔터프라이즈 질의응답(QA)에서 전통적 RAG 대비 최대 70% 향상된 성능을 보였다고 발표했다. 핵심 차별점은 질문 텍스트 유사도에만 의존하지 않고, 사용자 지시와 예시, 인덱스 스키마 등 시스템 수준 사양을 검색과 생성의 모든 단계에 반영해 메타데이터를 본질적으로 활용한다는 점이다.

왜 기존 RAG 검색이 한계에 부딪혔나

기존 RAG는 보통 사용자의 질의를 임베딩으로 변환해 벡터 DB에서 유사 문서를 찾고, 결과를 LLM에 전달하는 ‘텍스트 매칭’ 중심 흐름을 따른다. 이 방식은 엔터프라이즈 문서에 흔한 타임스탬프, 작성자, 평점, 문서 유형 같은 풍부한 메타데이터를 충분히 활용하지 못한다. 예컨대 “최근 6개월 내 별 5개 리뷰만, Brand X는 제외” 같은 질의는 자연어 제약을 적절한 필터와 구조화된 쿼리로 바꾸지 못해 실패하기 쉽다. Databricks의 마이클 벤더스키는 “문제가 추론이 아니라 ‘처음부터 맞는 데이터를 못 가져오는’ 데서 비롯된다”고 지적한다.

Instructed Retriever는 어떻게 다를까

Instructed Retriever는 시스템 수준 사양(사용자 지시, 라벨된 예시, 인덱스 스키마)을 검색과 생성 전 단계로 전달하며, 메타데이터를 1급 시민으로 취급하는 아키텍처다. Instructed Retriever의 설계 핵심은 쿼리 분해, 메타데이터 추론, 문맥 기반 재랭킹으로 요약된다.

쿼리 분해: 지시를 검색 계획으로 바꾸기

복합 질의를 키워드 검색과 필터 지시가 포함된 검색 계획으로 쪼갠다. 예를 들어 “최근 FooBrand 제품, lite 모델 제외” 요청은 적절한 메타데이터 필터가 포함된 구조화 쿼리 묶음으로 변환된다. 전통 시스템이 단일 의미론 검색에 의존하는 것과 대조적이다.

메타데이터 추론: 자연어를 구조화 필터로

“작년부터”는 날짜 필터로, “별 5개 리뷰”는 평점 필터로 자동 변환한다. 어떤 메타데이터가 존재하는지, 그리고 사용자 의도와 어떻게 매칭해야 하는지를 이해한다.

문맥 기반 재랭킹: 의도 일치도 우선

재랭킹 단계는 사용자 지시의 전체 문맥을 활용해 키워드 매칭이 약해도 의도에 부합하는 문서를 끌어올린다. 단순 유사도 대신 최신성이나 특정 문서 유형 같은 사양을 우선한다. 벤더스키는 “도구를 인간이 아니라 에이전트처럼 쓰도록, API의 세세한 능력을 최대한 활용해 쿼리를 구성하는 데 ‘마법’이 있다”고 설명한다.

컨텍스트 메모리 vs. 검색 아키텍처

2025년 하반기부터 업계 일부는 RAG를 넘어 ‘컨텍스트(에이전틱) 메모리’로 이동하려는 흐름을 보였다. 그러나 Instructed Retriever 관점에서 두 접근은 상보적이다. 컨텍스트 메모리는 작업 규칙, 사용자 선호, 메타데이터 스키마 같은 ‘게임의 규칙’을 세션 내에 유지하는 데 탁월하지만, 실제 기업 데이터 코퍼스는 그 창을 훨씬 초과한다. Instructed Retriever는 이 컨텍스트를 ‘사양’으로 삼아 쿼리 구성과 결과 해석을 안내하고, 대규모 저장소에서 필요한 문서를 정확히 끌어온다.

제공 현황과 적용 대상

Instructed Retriever는 Databricks Agent Bricks의 일부로 제공되며 Knowledge Assistant에 내장돼 있다. 즉, 지식 비서로 QA 시스템을 구축하면 별도 커스텀 RAG 파이프라인 없이 Instructed Retriever를 활용할 수 있다. 구현은 오픈소스로 공개되지 않았지만, Databricks는 StaRK-Instruct 같은 벤치마크를 연구 커뮤니티에 제공하고 있으며, 금융·이커머스·헬스케어 등 메타데이터가 풍부한 고구조화 도메인에서 특히 효과가 크다고 밝혔다.

엔터프라이즈 AI 전략에 주는 시사점

전통적 RAG 위주의 시스템을 운영 중인 조직이라면, 현재 검색 파이프라인이 지시 준수와 메타데이터 추론을 본질적으로 지원하는지 점검해야 한다. Databricks가 제시한 최대 70% 격차는 미세 최적화로 메울 수 있는 수준이 아니라, 시스템 사양이 검색과 생성 과정을 관통하는 ‘아키텍처’ 차이에서 나온다. 메타데이터를 정교하게 설계해둔 조직일수록 Instructed Retriever 같은 아키텍처의 효과가 크다. 복합 지시에 강하고 이질적 데이터 소스를 다루는 신뢰성 높은 QA를 원한다면, Instructed Retriever 수준의 검색 설계를 새로운 기준선으로 삼아야 한다.