AT&T, 에이전트형 AI로 비용 90% 절감·하루 270억 토큰 처리

개요: 왜 AT&T는 에이전트형 AI 오케스트레이션으로 전환했나

AT&T는 일평균 80억 토큰을 쓰던 규모 문제를 해결하기 위해 대형 추론 모델만으로 모든 요청을 처리하는 방식을 포기하고, LangChain 기반 멀티에이전트 스택으로 오케스트레이션 층을 재설계했다. 그 결과 지연시간과 응답 속도가 크게 개선되고, 비용은 최대 90% 절감되었으며 처리량은 불과 수개월 만에 하루 270억 토큰으로 3배 이상 증가했다. AT&T는 도메인별로 작은 언어 모델(SLM)이 대형 모델 못지않은 정확도를 보인다고 평가한다.

오케스트레이션 재설계와 기술 스택

멀티에이전트와 ‘슈퍼 에이전트–워커’ 구조

대형 언어 모델이 상위의 ‘슈퍼 에이전트’로서 업무를 분해·분배하고, 목적 지향적인 ‘워커’ 에이전트가 정밀 작업을 수행한다. 이 에이전트형 AI 오케스트레이션은 마이크로소프트 애저 위에서 동작하며, 문서 처리, 자연어→SQL 변환, 이미지 분석 등 AT&T 독자 도구를 호출해 회사 데이터 중심의 의사결정을 내린다.

RAG·벡터 스토어와 교체 가능한 모델

핵심 프레임워크로 LangChain을 사용하고, 표준 RAG와 사내 알고리즘으로 모델을 미세조정한다. 벡터 스토어에는 마이크로소프트의 검색 기능을 활용한다. AT&T는 ‘처치·선택 가능한(Interchangeable & Selectable)’ 모델 전략을 채택해 범용 기능은 재개발하지 않고, 산업 전반의 기능 성숙도에 따라 자체 도구를 상용 솔루션으로 단계적 대체한다. 또한 자체 Ask Data with Relational Knowledge Graph는 Spider 2.0 Text-to-SQL 정확도 리더보드 1위를 기록했고, 다른 도구들도 BERT SQL 벤치마크 상위권에 올랐다.

거버넌스와 운영 원칙

휴먼 온 더 루프와 보안·감사

에이전트 연쇄 반응은 항상 사람이 감독한다(휴먼 온 더 루프). 모든 행동은 로깅되고, 처리 전 과정에서 데이터는 격리되며, 에이전트 간 업무 이관 시 역할 기반 접근제어(RBAC)가 적용된다.

설계 원칙: 정확도·비용·응답성

에이전트형 AI가 반드시 필요한지부터 자문한다. 더 단순한 단일 턴 생성으로 필요한 정확도를 달성할 수 있는지, 작업을 더 작은 조각으로 나눠 각 조각의 정확도를 크게 높일 수 있는지를 점검한다. 해법이 복잡해져도 정확도, 비용, 도구 응답성이라는 세 가지 원칙이 방향을 잡아준다.

실제 적용 예시

네트워크 장애 복구 멀티에이전트 시나리오

한 에이전트가 텔레메트리를 상관분석해 장애 유형과 위치를 파악하고, 변경 이력과 알려진 이슈를 점검한 뒤 티켓을 개설한다. 다음 에이전트는 해결 방안을 제시하고 패치 코드를 작성하며, 문제 해결 후 세 번째 에이전트가 예방 조치를 포함한 요약 보고서를 생성한다. 전체 흐름은 사람이 모니터링하며 올바른 조치와 성능을 확인한다.

Ask AT&T 워크플로: 프로코드·노코드 병행

그래픽 드래그앤드롭 에이전트 빌더를 통해 직원들은 규칙을 파이썬으로 정의(프로코드)하거나, 가벼운 노코드 UI로 자동화를 구성할 수 있다. 10만 명 이상에게 배포되었고 절반 이상이 매일 사용하며, 적극 도입 팀은 최대 90%의 생산성 향상을 보고했다. 기술 해커톤에서도 숙련 사용자 다수가 로우·노코드를 선택해 조립식 구성의 효율을 입증했다.

AI-fueled 코딩으로의 확장

RAG 유사 아키타입과 거의 제품급 코드

개발자는 IDE에서 애자일 방식과 기능별 빌드 아키타입을 활용해 상호작용 규칙을 정의한다. 산출물은 ‘느슨한 코드’가 아니라 한 번의 턴으로도 제품에 가까운 품질에 도달하며, 에이전트형 코드 에디터에 의존한 이른바 ‘바이브 코딩’ 대비 왕복 수정 횟수를 크게 줄인다. 이 접근은 개발 주기를 단축하고 제품급 코드 산출을 늘리며, 비개발 조직도 자연어 프롬프트만으로 프로토타입을 만들 수 있다. 실제로 내부 큐레이션 데이터 제품을 20분 만에 구축했는데, 기존 방식이면 6주가 걸릴 작업이었다.

핵심 메시지

에이전트형 AI 오케스트레이션과 SLM 중심 전략은 정확도와 속도를 유지하면서 비용을 급감시켰고, 전사적 도입과 구체적 성과로 그 효과가 검증되었다. 변화가 잦은 생태계에서는 부품을 손쉽게 교체하는 플러그형 아키텍처와 엄격한 평가가 필수다. AT&T의 사례는 에이전트형 AI가 대규모 기업 환경에서 실질 가치를 창출함을 보여준다.