추측 실행을 넘어: 결정론적 CPU가 여는 예측 가능한 AI 성능

개요: 추측 실행을 넘어서는 결정론적 CPU

1990년대 혁신으로 추앙받은 추측 실행은 분기·메모리 예측으로 성능을 끌어올렸지만, 실패 시 에너지 낭비와 복잡성, Spectre·Meltdown 같은 취약점을 남겼다. 이에 대한 대안으로, 시간 기반으로 명령 발사를 정밀 제어하는 결정론적 실행 모델이 제시되었고, 이는 최근 발급된 6건의 미국 특허로 구체화됐다. 이 모델은 파이프라인 내 각 명령에 정확한 실행 슬롯을 할당해 흐름을 엄밀하고 예측 가능하게 만든다.

왜 추측 실행이 한계에 부딪혔나

추측 실행은 결과가 확정되기 전 명령을 앞당겨 실행해 오차 시 폐기한다. 오예측은 파이프라인에 No-Op를 주입하고 플러시를 유발해 에너지를 낭비한다. 특히 AI/ML 워크로드에서 비정형 메모리 패턴, 비캐시 적재, 미스얼라인드 벡터 접근이 잦아 성능 급락이 데이터셋·문제 크기에 따라 들쭉날쭉해진다. 더불어 추측 부작용은 고위험 보안 공격의 표면을 넓혔다.

시간 기반 실행과 결정론적 스케줄링

핵심은 시간 카운터를 갖춘 벡터 코프로세서다. 명령은 데이터 의존성과 지연 창(latency window)이 판명된 뒤에만 발사되어, 추측 비교기나 롤백 없이도 비순차(Out-of-Order)급 처리량을 확보한다. 이 아키텍처는 대개 12단계의 깊은 파이프라인, 최대 8-way 디코드의 와이드 프런트엔드, 250엔트리를 넘는 큰 재정렬 버퍼(ROB)를 특징으로 한다.

시간 카운터·스코어보드·TRM의 역할

페치/디코드와 벡터 실행 유닛 사이에 시간 카운터와 레지스터 스코어보드를 배치하고, 시간-자원 매트릭스(TRM)로 피연산자 준비 상태와 자원 가용성에 따라 실행 사이클을 할당한다. RAW·WAR 같은 해저드를 사전 해소하고, 멀티스레드 환경에서도 캐시 미스·분기 플러시·RAW 해저드 주변을 재스케줄링한다. 레지스터 리네이밍과 추측 비교기가 필요 없어 하드웨어가 단순해지고 전력이 절감된다.

메모리 지연을 채우는 방식

메모리 인터페이스는 로드/스토어의 예상 복귀 사이클을 예측해 지연 슬롯을 독립 명령으로 메워 파이프라인을 유지한다. 결과적으로 플러시와 롤백이 사라지고, 유닛 사용률은 높게 유지된다.

RISC-V 호환 프로그래밍 모델

프로그래머 관점에서 코드 작성·컴파일 흐름은 RISC-V와 동일하다. 달라지는 것은 실행 계약이다. 동적 추측으로 지연을 감추는 대신, 명령의 발사·완료 사이클이 예측 가능하게 보장된다. 벡터 확장에서는 폭넓은 레지스터 파일과 대형 유닛을 리네이밍 없이 커밋 이후에만 실행하므로 오버헤드가 줄고, 컴파일러 스케줄링은 롤백 고려가 없어 단순해진다. RVA23과 GCC, LLVM, FreeRTOS, Zephyr 등 주류 툴체인과 호환된다.

AI/ML과 GEMM 확장

아키텍처는 행렬 연산으로 자연 확장되며, 커뮤니티 검토 중인 RISC-V 제안과 함께 8×8부터 64×64까지 구성 가능한 GEMM 유닛을 제공한다. 오퍼랜드는 레지스터 기반 또는 DMA로 직송할 수 있어, 다양한 AI/HPC 워크로드를 지원한다. 초기 분석은 TPU 코어에 견줄 확장성을 시사하면서도 비용·전력은 낮출 수 있음을 가리킨다. 비교 대상은 범용 CPU보다 벡터/매트릭스 엔진에 가깝고, 결정론적 스케줄링을 GEMM/벡터 유닛에 직접 적용해 연산 자원을 꾸준히 바쁘게 유지한다.

보안·전력·효율상의 이점

결정론적 CPU는 오예측에 따른 플러시·폐기 작업을 제거해 전력을 절약하고 성능 변동성을 줄인다. 추측 실행 특유의 부작용 노출을 피하면서, 넓은 벡터/행렬 유닛의 꾸준한 가동으로 피크 성능에 더 안정적으로 근접한다.

남은 과제와 전망

결정론적 CPU가 범용 컴퓨팅의 추측 실행을 대체할지는 미지수다. 그러나 특허로 검증된 신규성, AI 워크로드의 압박, 데이터센터급 성능을 데이터센터급 오버헤드 없이 노리는 방향성은 패러다임 전환의 조건을 갖춘다. 추측이 지난 혁명이었다면, 다음 도약은 결정론일 수 있다.

실제 적용 예시

결정론적 CPU 도입 전 체크리스트

대상 워크로드의 벡터/행렬 비중 파악, 메모리 지연 특징(미스율·정렬·캐시 적중) 분석, RISC-V 확장 적용 범위와 툴체인 지원 확인, GEMM 크기(8×8~64×64) 선택 및 DMA 경로 검증, 전력·열 설계 한계 검토를 선행한다.

결정론적 CPU 마이크로아키텍처 이행 단계

1) 명령 추적에 시간 카운터 도입, 2) 스코어보드/TRM로 해저드·자원 모델 정립, 3) 메모리 지연 예측 블록 통합, 4) 벡터/행렬 유닛과 커밋 이후 실행 규율 확립, 5) 컴파일러 패스 정렬 및 벤치마크(특히 GEMM)로 검증한다. 이 단계에서 결정론적 CPU의 예측 가능한 성능 이점을 정량화할 수 있다.