‘브라우니 레시피 문제’: 실시간 LLM에 세밀한 문맥이 왜 필요한가

브라우니 레시피 문제: 실시간 주문에서 세밀한 문맥의 중요성

최신 LLM은 복잡한 추론에는 강하지만, 실시간 전자상거래에서는 세밀한 문맥을 놓치기 쉽다. 인스타카트 CTO 아니르반 쿤두가 말하는 ‘브라우니 레시피 문제’는 사용자가 “브라우니를 만들고 싶다”라고 말하는 것만으로는 충분하지 않다는 점을 짚는다. 사용자의 취향(예: 유기농 달걀 vs 일반 달걀), 지역별 재고와 배송 가능 시간, 신선도 유지 같은 현실 제약까지 아우르는 세밀한 문맥이 필요하며, 이 모든 판단을 이상적으로 1초 이내 지연으로 제공해야 한다.

문제 정의: LLM 추론력과 세밀한 문맥의 간극

식료품 배송에는 ‘추론의 세계’와 ‘상태의 세계(현실 재고)’가 공존한다. 여기에 개인화까지 겹치면 단순히 사용자의 전체 구매 이력을 통째로 LLM에 적재하는 접근은 비현실적이다. 모델이 비대해지고 처리 지연이 커지기 때문이다. 핵심은 필요한 순간에 필요한 조각만 꺼내 쓰는 설계로, 실시간 환경에서 세밀한 문맥을 보존하면서도 지연을 최소화하는 일이다. 쿤두는 “추론에만 15초가 걸리면 사용자는 떠난다”고 강조한다.

처리 아키텍처: 기초 모델 + SLM으로 문맥을 분할 정복

인스타카트는 먼저 대규모 기초 모델로 의도 파악과 상품 분류를 수행한 뒤, 결과를 카탈로그 문맥(서로 어울리는 품목·대체 가능 품목)과 의미 이해에 특화된 SLM으로 라우팅한다. 카탈로그 문맥 SLM은 주문 맥락과 개별 상품의 다층 정보를 함께 처리해 재고가 없을 때 적절한 대체안을 제시한다. 이는 지역 시장에서 품절 빈도가 적지 않은 현실에서 특히 중요하다. 의미 이해 측면에서는 “아이용 건강 간식”처럼 모호한 요구를 해석해 8세 아동에게 적합하고 매력적인 품목을 찾아내고, 해당 상품이 없으면 관련 하위 범주로 확장한다. 아이스크림이나 냉동 채소처럼 온도에 민감한 품목의 물류 제약까지 반영해 도착 가능 시간을 산정하는 것 또한 세밀한 문맥의 일부다.

에이전트 전략: 모놀리식 대신 마이크로에이전트

인스타카트는 한 개의 거대 에이전트보다 역할이 분리된 마이크로에이전트 조합이 효과적이라고 본다. 유닉스 철학처럼 작은 도구들의 조합으로 결제 시스템 등 서로 다른 실패 모드를 가진 외부 서비스를 다룬다. 백엔드 에이전트는 POS·카탈로그 등 다수의 서드파티 플랫폼과 통신하는데, 신뢰도·업데이트 주기·피드 형식이 제각각이어서 단일 환경에 모두 집어넣는 방식은 비효율적이었다. 이 이질성을 견디기 위해 세밀한 문맥을 유지하면서도 역할을 분리한 마이크로에이전트로 전환했다.

표준과 과제: MCP·UCP 통합, 그리고 실패 모드·지연

에이전트 관리를 위해 OpenAI의 MCP로 도구·데이터 소스 연결을 표준화하고, Google의 UCP로 상점 시스템과 직접 상호작용한다. 그러나 실제 어려움은 “가능하냐”보다 “안정적으로 동작하느냐”와 “사용자가 이해하느냐”에 가깝다. 사용 가능한 서비스를 발견하고, 어떤 작업에 어떤 서비스를 써야 하는지 파악하는 과정도 만만치 않다. 인스타카트는 MCP와 UCP를 매우 다른 활용 사례에 적용했으며, 가장 큰 문제는 실패 모드와 지연이다. 두 서비스의 응답 특성이 달라 오류 처리에 전체 노력의 상당 부분을 쓰고 있다고 한다.

실제 적용 예시

사용자가 “브라우니 재료 주문”을 요청하면, 시스템은 의도와 카테고리를 파악한 뒤 지역별 재고를 조회하고, 유기농 달걀 선호를 반영한다. 코코아 파우더가 품절이면 동일 카테고리의 대체 품목을 제안하고, 아이스크림 등 온도 민감 품목이 함께 담겼다면 배차·경로·도착 시간을 재계산해 신선도를 보장한다. 전 과정에서 세밀한 문맥을 유지해 추천의 설득력과 실시간 응답성을 동시에 달성하는 것이 목표다.