Arcee, 미국산 오픈소스 Trinity Large와 10조 토큰 TrueBase 공개

요약 및 배경: Trinity Large 공개

샌프란시스코의 Arcee가 미국에서 처음부터 학습한 대규모 언어모델을 오픈소스(또는 부분 오픈)로 내놓아 개발자와 기업이 자유롭게 활용·커스터마이즈할 수 있는 길을 열었다. 중국의 Qwen(알리바바), z.AI(지푸), DeepSeek, Moonshot, Baidu가 고효율 아키텍처로 공개 모델 생태계를 주도하는 가운데, 메타가 Llama 4(2025년 4월) 이후 전면 오픈에서 한발 물러서고, Yann LeCun이 벤치마크 점수 부풀리기 논란을 인정했다는 후폭풍 속에서, 현재는 OpenAI의 gpt-oss 계열(2025년 여름)과 Arcee만이 미국산, 스크래치 학습 기반의 새로운 공개 모델 깃발을 들고 있다.

Trinity Large의 극단적 희소성

이 모델은 혼합전문가(MoE) 기반으로, 주어진 입력마다 전체 4000억 파라미터 중 1.56%(약 130억)만 활성화한다. 이렇게 선택적으로 일부만 계산에 쓰는 희소성 덕분에 거대 모델의 지식을 유지하면서도 작은 모델에 가까운 추론 속도와 효율을 보여 동일 하드웨어 기준 동급 대비 약 2~3배 빠른 성능을 낸다.

TrueBase 체크포인트의 의의

이번 공개의 핵심은 10조 토큰 시점의 원시 체크포인트 Trinity-Large-TrueBase다. 대부분의 '오픈' 모델이 지시튜닝(SFT)과 인간피드백강화학습(RLHF)으로 대화 친화적으로 변형된 뒤 가중치를 공개하는 것과 달리, TrueBase는 학습률 어닐링이나 2·3단계 프리트레이닝(지시 데이터 주입) 이전의 기반 지능을 드러낸다. 규제가 엄격한 산업의 연구자·기업은 여기서 출발해 편향과 포맷의 블랙박스를 피해 실감사와 자체 정렬을 수행할 수 있다. Arcee CTO 루커스 앳킨스는 '그 체크포인트만으로도 세계 최고 수준의 베이스 모델 중 하나'라고 말했다.

제약 기반 엔지니어링과 비용 효율

Trinity Large는 무한 자원이 아닌 '제약이 낳은 엔지니어링'의 결과다. 총자본 5천만 달러 미만, 30명 내외 팀 규모에서 단 33일, 약 2천만 달러로 프리트레이닝을 마쳤다. 앳킨스는 '제약은 창의성의 촉매'라며, 예산이 무제한이면 복잡한 문제를 엔지니어링으로 풀어낼 동기가 약해진다고 설명했다.

아키텍처: 4-of-256 MoE와 SMEBU

토큰당 256개 전문가 중 4개만 활성화하는 4-of-256 희소 MoE는 학습 안정성 난제를 동반했다. Arcee는 Soft-clamped Momentum Expert Bias Updates(SMEBU)를 고안해 전문가의 전문화와 균형 라우팅을 유도, 일부 전문가만 '승자'가 되고 나머지가 미학습 상태로 남는 문제를 완화했다.

훈련 인프라와 데이터 전략

훈련 가속은 엔비디아 Blackwell 세대 B300 GPU의 조기 접근 덕이 컸다. Hopper 대비 약 2배 속도와 더 큰 메모리가 제공되어 33일 만에 프리트레이닝을 완주했다. DatologyAI와 협력해 8조 개 이상의 합성 토큰을 사용했는데, 대모델의 말투를 모방시키는 전형적 합성이 아니라, 블로그·위키 등 원문을 의미 보존 압축 형태로 재서술해 토큰 수를 줄이면서 근거 추론을 촉진하도록 설계했다.

긴 문맥 처리와 실제 성능

로컬·글로벌 슬라이딩 윈도 주의를 3:1로 교차 배치한 하이브리드 설계로 장문맥 효율을 확보했다. 256k 길이로 훈련했으며, 네이티브 512k 컨텍스트를 지원하고 100만 토큰 수준에서도 성능 저하가 완만하다는 평가다. 이 설계는 에이전트형 멀티스텝 작업에서 Trinity Large의 실전 활용폭을 넓힌다.

기술 비교: gpt-oss-120b vs Trinity Large

두 모델 모두 허용적 라이선스 아래 희소 아키텍처로 최전선 성능을 지향하지만 역할이 갈린다. gpt-oss-120b가 특정 추론·수학 벤치마크에서 우위를 보이는 반면, 이 모델은 더 큰 컨텍스트 용량과 원시 파라미터 깊이로 복잡한 다단계 에이전틱 워크플로에 강점이 있다.

주권과 라이선스: Apache 2.0의 의미

미국 공개 생태계의 공백 속에서 CEO 마크 맥퀘이드는 서구 진영의 오픈소스 후퇴와 중국 랩들의 공세가 기업 의존도를 높였다고 지적했다. 특히 대형 조직 다수는 중국발 아키텍처 사용이 어렵다고 토로했다. Arcee는 Apache 2.0 라이선스로 모델 계층의 완전한 소유를 보장해, 금융·국방 등 제3자 호스팅이나 제한적 클라우드가 불가능한 산업에 실질적 대안을 제공한다.

다음 단계: 지능과 유용성의 균형

Arcee는 인스트럭트형에서 전면 추론형으로 전환하기 위한 'current thinking' 접근을 진행 중이다. 벤치마크 성적을 높이되 수다스럽거나 비효율적이지 않게 만드는 균형이 관건이다. 팀은 '우리는 당신이 소유할 수 있도록 Trinity Large를 만들었다'고 밝히며, 래퍼가 아닌 주권적 인프라 층으로의 복귀를 천명했다.