JP모건, 직원 60%가 AI 사용…비결은 ‘연결성 우선’ 아키텍처

JP모건의 대규모 AI 도입 개요

JP모건체이스의 데릭 월드런 최고 애널리틱스 책임자에 따르면, 사내 개인 비서형 LLM 슈트를 출시한 지 불과 몇 달 만에 이용자가 0명에서 25만 명으로 급증했고, 현재는 영업·재무·기술·운영 등 전 부문에서 직원의 60% 이상이 매일같이 활용하고 있다. 직원들은 프롬프트 작성에 그치지 않고, 페르소나·지침·역할을 갖춘 맞춤형 어시스턴트를 직접 만들며 사내 플랫폼에서 학습 내용을 공유했다.

바텀업 확산과 혁신 플라이휠

자발적 참여 촉발 (연결성 우선 아키텍처)

이 확산은 강제나 의무가 아니라, 초기 이용자들이 보여준 구체적 성과와 동료 간 전파로 탄력이 붙었다. 현업 문제가 곧바로 해결되는 사례가 늘어나자 참여가 연쇄적으로 이어졌고, 이런 바텀업 사용이 혁신 플라이휠을 형성했다. 그 배경에는 데이터를 즉시 불러오고 업무 맥락에 접속하는 연결성 우선 아키텍처가 있었다.

사용 사례 중심 전파 (연결성 중심 아키텍처)

직원들은 반복 문서 작성, 리서치, 규정 검토, 리스크 요약 등 다양한 업무에 맞춰 어시스턴트를 조정했다. 이때 시스템과 데이터, 도구가 끊김 없이 이어지는 구조 덕분에 결과물이 바로 업무에 쓰였고, “보여주기용”이 아닌 실전 사례가 빠르게 쌓였다. 다시 말해, 연결성 우선 아키텍처가 가치 증명의 시간을 대폭 단축했다.

연결성 우선 아키텍처의 설계

AI를 인프라로 보는 관점 (연결성 우선 아키텍처)

JP모건은 모델 자체는 결국 상품화될 것이라는 전제 아래, 차별화의 핵심을 ‘연결’에 두었다. 즉, AI를 신기함이 아닌 코어 인프라로 정의하고, 시스템·데이터·프로세스 전반을 관통하는 연결성 우선 아키텍처로 해자를 구축했다. 이 접근은 새로운 모델이 등장해도 즉시 현업 시스템에 접속해 가치를 내도록 한다.

멀티모달 RAG의 진화

회사는 일찍부터 RAG에 투자해 기본 벡터 검색에서 권위 있는 소스 우선순위, 계층적 지식 파이프라인, 그리고 멀티모달까지 발전시켰다. 현재 4세대 RAG는 텍스트와 표·문서·이미지 등 다양한 형식을 아우르며, 고품질 근거를 추출해 답변의 신뢰성과 설명 가능성을 높인다.

엔터프라이즈 전역 플랫폼과 커넥터

AI 슈트는 전사 플랫폼 중앙에 배치돼 분석과 전처리를 돕는 도구, 그리고 CRM·HR·트레이딩·재무·리스크 시스템, 고도화된 문서·지식·구조화 데이터 저장소로 이어지는 커넥터를 제공한다.팀은 매달 새로운 연결을 추가하며 적용 범위를 확대하고 있다.

현업 활용과 거버넌스

원 플랫폼·멀티 잡 접근

역할마다 일이 다른 만큼, 전략은 재사용 가능한 빌딩 블록(RAG, 문서 지능, 구조화 데이터 질의)을 조합해 역할별 도구를 빠르게 구성하는 데 초점을 맞춘다. 동일한 플랫폼 위에서 공통 역량을 공유하되, 팀 특성에 맞는 앱을 민첩하게 만들어 배포한다.

접근성과 의미 있는 과제

월드런은 “접근성과 핵심 사용처가 없으면 기회를 허비하는 것”이라며, 설령 초지능이 내일 도착해도 엔터프라이즈의 시스템·데이터·툴·지식·프로세스에 연결되지 않으면 최적의 가치를 뽑아낼 수 없다고 강조했다. 이 점에서 연결성 우선 아키텍처는 ‘보여주기용’ AI를 실사용 도구로 바꾸는 관문이다.

핵심 시사점

JP모건의 사례는 AI를 인프라로 설계하고, 멀티모달 RAG와 커넥터 중심으로 현업 시스템에 깊이 결합할 때 대규모 자발적 도입이 가능함을 보여준다. 연결성 우선 아키텍처를 갖추면 모델 진화 속도와 무관하게 즉시 비즈니스 가치로 전환할 수 있으며, 바텀업 혁신이 지속적으로 가속된다.