레이크하우스를 넘어: Fundamental NEXUS, 표형 데이터 예측의 새 기반

개요와 배경

대형 언어모델과 이미지 생성기는 비정형 데이터에서 눈부신 성과를 냈지만, 경제의 기반인 스프레드시트·ERP·CRM 같은 표형 데이터는 한동안 텍스트처럼 취급되며 소외됐다. 이로 인해 기업은 여전히 수작업 피처 엔지니어링과 구식 머신러닝으로 예측 모델을 만들었다. 샌프란시스코의 AI 기업 Fundamental은 딥마인드 출신이 공동 창업한 팀으로, 총 2억5500만 달러를 확보하며 대형 표형 모델 NEXUS를 공개했다. 이 모델은 단순한 단어 시퀀스가 아닌 비선형 관계의 그물망으로 비즈니스 데이터를 해석하도록 설계됐다. 공동 창업자는 제러미 프랭켈, 애니 라몬트, 가브리엘 수이사다.

기술 핵심: 순차 논리를 넘어

대부분의 AI는 문장 다음 단어, 프레임 다음 픽셀을 예측하는 순차 논리에 기반한다. 반면 엔터프라이즈 데이터는 본질적으로 비순차적이다. 예컨대 고객 이탈 위험은 거래 빈도, 지원 티켓의 감정, 지역 경기 등 다차원 요인이 교차한다. 기존 LLM은 대규모 표의 차원성과 크기 제약에 부딪혀 이런 구조를 다루기 어렵다.

토크나이제이션의 함정

LLM은 숫자를 단어처럼 토큰화한다. 예를 들어 2.3은 ‘2’ ‘.’ ‘3’으로 나뉘어 분포와 수리적 의미가 훼손된다. 그래서 계산기처럼 일관되게 맞히지 못하고, 숫자 개념을 네이티브하게 이해하지 못한다는 한계가 드러난다.

순서 불변성과 표 구조

표형 데이터는 언어와 달리 열 순서에 불변이다. 환자 표의 첫 번째 열이 키, 두 번째 열이 몸무게든 그 반대든 당뇨 예측은 변하지 않아야 한다. 단어 순서에 민감한 LLM과 달리, 이 모델은 열 순서 변화에 영향을 받지 않도록 설계됐다.

NEXUS 학습과 아키텍처

NEXUS는 Amazon SageMaker HyperPod에서 실제 표형 데이터 수십억 개로 사전학습됐다. XGBoost나 랜덤 포리스트처럼 사람이 변수를 정의할 필요 없이 원시 테이블을 그대로 받아들여, 행과 열 전반의 잠재 패턴을 포착한다. 즉, 그리드의 ‘숨은 언어’를 읽어 비선형 상호작용을 이해한다.

예측 레이어에서의 차별화

스프레드시트 안의 LLM 통합은 주로 수식·요약 같은 ‘포뮬러 레이어’다. 이에 비해 Fundamental은 ‘예측 레이어’에 집중한다. 재무 모델을 엑셀로 짓게 하는 대신, 신용카드 결제 순간의 사기 여부, 공장 설비의 고장 가능성, 환자의 재입원 확률 등 다음 행을 즉시 예측하는 데 초점을 맞춘다.

성능과 지연시간

무엇이 ‘더 낫다’의 기준인지는 산업마다 다르다. 연구 환경에서는 지연보다 정확도가 중요할 수 있고, 은행·헤지펀드에서는 0.5%의 정확도 향상도 막대한 가치를 만든다. 이 모델은 용도별 지연 요구를 맞추면서도 기존 대비 더 나은 성능을 목표로 한다.

제공 방식과 상용화

전통적으로 예측 모델 구축에는 수개월의 데이터 파이프라인 작업이 필요했다. Fundamental은 사전학습 덕분에 ‘한 줄 코드’로 이 과정을 대체할 수 있다고 주장한다. 엔지니어는 파이썬 인터페이스에서 원시 테이블을 연결하고 목표 열(예: 연체 확률, 유지보수 리스크 점수)을 지정하면 회귀·분류 결과가 바로 데이터 스택으로 되돌아온다. 이때 NEXUS는 대화형이 아닌 순수 예측 레이어에서 ‘보이지 않는 엔진’처럼 동작한다.

AWS 파트너십과 보안

상용화는 AWS 마켓플레이스에서 셀러 오브 레코드를 AWS가 맡는 구조라, 기업이 기존 크레딧으로 손쉽게 조달·배포할 수 있다. 또한 AWS 대시보드 통합을 통해 기존 인프라 위에서 곧바로 쓸 수 있다. 가장 큰 과제인 데이터 프라이버시를 해결하기 위해, 아키텍처와 가중치까지 완전 암호화한 모델을 고객 환경 내에 배포하는 기술을 구현했다. 고객 데이터는 고객사 경계 내에 머무르며, NEXUS를 이 방식으로 운용할 수 있다.

사회적 파급효과

수요 예측·가격 책정 같은 상업적 가치 외에도, 파이프 부식 조기 감지로 생명·비용을 지킬 수 있다. 실제로 플린트 워터 크라이시스는 10억 달러 이상이 들었다. 제조·역학 데이터를 활용한 의료용품(PPE) 수요 예측으로 팬데믹 때 4~6주 먼저 경보를 내릴 수 있고, 2022년 파키스탄 홍수 같은 재난에 대비해 30~60일 범위의 홍수·가뭄 예측을 제공하는 것을 목표로 한다. 인구통계·사회적 결정요인을 반영한 재입원 위험 예측처럼 의료 접근성 개선도 지향한다.

투자와 비전

시리즈 A 2억2500만 달러는 Oak HC/FT가 주도했고, Salesforce Ventures·Valor Equity Partners·Battery Ventures가 참여했다. Perplexity·Wiz·Brex·Datadog 등의 리더가 엔젤로 가세했다. 샌프란시스코 본사 약 35명 규모의 팀은 맞춤형 모델 시대에서 ‘테이블용 파운데이션 모델’ 시대로의 전환을 표방한다. 지난 10년간 큰 변화가 없던 전통 알고리즘을 넘어, 텍스트에 대한 ChatGPT처럼 표형 데이터에서의 표준이 되는 것을 NEXUS의 지향점으로 제시한다.

실제 적용 예시

홈페이지 제작 전 필수 체크리스트

예측 인텔리전스를 웹사이트·대시보드에 녹이기 전, 다음을 점검한다: 표형 데이터 스키마와 품질(결측·불일치 처리 정책), 목표 열 정의와 평가 지표, PII·컴플라이언스(접근 제어·마스킹), AWS 계정과 마켓플레이스 구매 권한, 고객 VPC 내 완전 암호화 배포 요건, 지연시간·스루풋 예산과 모니터링 설계. 이러한 준비가 되어야 모델 출력이 제품 경험에 안정적으로 통합된다.

홈페이지 제작 프로세스 단계별 안내

1) 데이터 원천(ERP/CRM/로그)을 카탈로그화하고 원시 테이블 연결 2) 메타데이터·스키마 매핑과 전처리 규칙 최소화 3) 비즈니스 목적에 맞는 목표 열을 지정 4) 파이썬 SDK 또는 엔드포인트로 호출해 예측 생성 5) A/B 테스트·백테스팅으로 정확도·지연을 검증 6) 결과를 웹 대시보드·양식 검증·경보에 임베드 7) 데이터 드리프트·성능을 모니터링하고 재학습 사이클을 운영 8) AWS 크레딧·원가 관리를 통해 예측 기능의 단가를 최적화한다. 이를 통해 예측 결과를 사용자 여정에 자연스럽게 통합할 수 있다.