Nvidia와 Groq, 실시간 AI를 향한 ‘석회암’ 경쟁의 승부처

‘실시간 AI’로 가는 계단: CPU→GPU→LPU

사막 건너 피라미드는 매끈해 보이지만, 가까이에서 보면 거대한 석회암 블록의 층계다. 기술의 ‘지수성장’도 마찬가지다. 무어의 법칙이 한동안 CPU의 상징이었지만, 결국 성능은 석회암처럼 평평해졌다. 시야를 넓히면 다음 블록은 이미 준비돼 있었다. 연산의 중심이 CPU에서 GPU로 이동했기 때문이다. 젠슨 황은 게임 그래픽에서 컴퓨터 비전, 생성형 AI로 돌다리를 놓으며 이 전환을 주도했다.

지수성장과 전환점: CPU의 정체, GPU의 부상

기술 발전은 질주와 정체가 번갈아 온다. 현재 물결은 트랜스포머가 이끌고 있으며, 앤스로픽의 다리오 아모데이는 “지수는 계속된다가 어느 순간 멈춘다”고 표현했다. 2024년 말 DeepSeek은 MoE(전문가 혼합) 등으로 적은 예산에 세계적 모델을 훈련해 패러다임 전환의 신호를 보냈다. 엔비디아의 루빈 발표도 NVLink와 대규모 MoE 추론을 통해 토큰당 비용을 최대 10배 절감할 수 있다고 강조한다. 지수 성장의 다음 계단은 ‘아키텍처 전환’으로 놓인다는 메시지다.

트랜스포머에서 MoE로, 그리고 아키텍처의 이동

브루트포스식 평행 계산이 통하던 훈련과 달리, 복합적 추론은 연속 처리에서 병목이 생긴다. 따라서 모델 구조(예: MoE)와 하드웨어 아키텍처의 동시 전환이 필요해졌다. 이 지점에서 ‘실시간 AI’를 위한 핵심 과제가 떠오른다: 지연 시간을 없애는 것이다.

지연 시간의 위기와 Groq

추론 시간 컴퓨트와 실시간 AI의 요구

2025년 추론 능력의 최대 향상은 ‘inference-time compute’, 즉 모델이 더 오래 ‘생각’하도록 시간을 주는 방식에서 나왔다. 하지만 대기 시간은 곧 비용이자 이탈이다. Groq는 극단적으로 빠른 추론으로 이를 정면 돌파한다. DeepSeek 같은 효율적 아키텍처와 Groq의 고처리량을 결합하면, 지연 없이 경쟁 모델을 ‘추론 속도’로 앞지르는 실시간 AI에 다가설 수 있다.

Groq LPU의 핵심: 작은 배치, 연속 처리, 메모리 병목 제거

모델이 ‘System 2’ 방식으로 자기검증과 반복을 수행하려면 토큰이 즉시 생성되어 복잡한 사고 사슬을 이어가야 한다. GPU는 작은 배치 추론에서 메모리 대역폭 병목에 걸리기 쉽지만, Groq의 LPU(Language Processing Unit)는 이 병목을 제거해 번개 같은 속도를 낸다. 예컨대 내부 ‘생각 토큰’ 1만 개를 생성할 때, 일반 GPU는 20~40초가 걸리는 반면 Groq는 2초 미만으로 처리한다. 실시간 AI의 핵심인 ‘사용자가 기다리지 않는 경험’을 구현하는 수치다.

엔터프라이즈 승부처: 플랫폼과 해자

‘로봇이 생각하는 시간’을 없애는 실시간 AI

기업이 기대하는 에이전트형 AI는 항공권 예약, 앱 전체 코딩, 판례 조사까지 자율적으로 수행해야 한다. 이를 신뢰성 있게 하려면 출력 전 자체 검증용 ‘생각 토큰’이 대량으로 필요하다. Groq의 속도는 이 과정을 실시간 AI 경험으로 바꿔, 지연 때문에 고객이 이탈하는 문제를 근본적으로 줄인다.

CUDA와 LPU의 결합이 만드는 소프트웨어 해자

Groq의 약점은 소프트웨어 스택, 엔비디아의 강점은 CUDA다. 만약 엔비디아가 Groq 하드웨어를 생태계로 감싸면, 학습에는 최고 환경(GPU), 추론에는 최고 효율(LPU)을 제공하는 범용 플랫폼이 된다. 여기에 차세대 오픈소스 모델(예: 소문 속 DeepSeek 4)을 결합하면, 비용·성능·속도에서 최전선 모델을 위협하는 조합이 탄생한다. 이는 자체 추론 클라우드 진출부터 폭증하는 고객 수요의 안정적 지원까지 광범위한 전략 옵션을 연다.

다음 계단: ‘석회암’ 블록이 말하는 것

블록 1~3, 그리고 젠슨 황의 선택

AI의 ‘지수’는 매끈한 선이 아니라 병목을 깨는 계단이다. 블록 1: 계산이 느렸다 — 해법은 GPU. 블록 2: 충분히 깊게 학습하지 못했다 — 해법은 트랜스포머. 블록 3: 충분히 빨리 ‘생각’하지 못한다 — 해법은 Groq의 LPU. 젠슨 황은 미래를 위해 자사 제품을 과감히 잠식하는 결정을 피해 오지 않았다. Groq를 인정(또는 통합)한다면, 더 빠른 칩을 사는 것이 아니라 다음 세대의 지능을 대중화하는, 곧 실시간 AI 시대의 결정적 계단을 놓는 선택이 된다.