Qwen3-Coder-Next, 3B 활성으로 10배 처리량의 오픈소스 코딩 모델

Qwen3-Coder-Next 한눈에 보기

알리바바 Qwen 팀은 80B 파라미터의 초희소 Mixture-of-Experts(MoE) 모델 Qwen3-Coder-Next를 공개했다. 추론 시 활성화되는 파라미터는 3B에 불과해 로컬 배치 비용과 처리량을 크게 개선하면서, 저장소 단위 업무에서 이론상 10배 높은 처리량을 노린다. Apache 2.0 라이선스로 상용 사용이 가능하며, 허깅페이스에 4개 가중치 변형과 함께 일부 학습 기법을 담은 기술 보고서가 제공된다.

장문맥 병목 해소: Gated DeltaNet × Gated Attention

Qwen3-Coder-Next의 핵심은 전통적 트랜스포머의 제곱 스케일링 문제를 우회하는 하이브리드 구조다. 262,144 토큰의 초장문맥에서 표준 어텐션의 ‘메모리 벽’을 피하기 위해 선형 복잡도의 Gated DeltaNet을 도입하고, Gated Attention과 결합해 긴 구간 추론의 지연을 억제했다. 초희소 MoE와 맞물리며 동급 용량의 조밀 모델 대비 저장소 수준 작업 처리량을 크게 끌어올렸다. 또한 학습 시 문맥 환각을 줄이기 위해 Best-Fit Packing(BFP)을 적용, 단순 문서 이어붙이기에서 발생하는 절단 오류를 억제했다.

에이전트-우선 학습 파이프라인

과거 코드 모델의 정적 페어 학습을 벗어나, 본 모델은 ‘에이전트형 학습’으로 전환했다. 기술 보고서에 따르면 깃허브 PR에서 추출한 실제 버그 수정 시나리오를 실행 가능한 환경과 짝지어 80만 개의 검증 가능한 과제를 합성했다. 알리바바 클라우드 쿠버네티스 기반 오케스트레이션 시스템 MegaFlow에서 에이전트 전개→평가→후처리의 3단계로 진행되며, 컨테이너 내 실시간 상호작용을 통해 단위 테스트 실패나 크래시가 발생하면 중간 학습·강화학습 신호로 즉시 피드백을 받는다. 이 닫힌 고리 교육으로 장애 복구와 해법 정교화를 현장에서 익혔다.

제품 사양과 도구 호출

지원 언어는 이전 92종에서 370종으로 확대됐다. 문자열 인자가 긴 작업을 위해 JSON의 이스케이프 오버헤드를 줄이는 XML 스타일의 qwen3_coder 도구 호출 포맷을 도입, 긴 코드 스니펫 방출 안정성을 높였다. 중간 학습은 약 600B 토큰 규모의 저장소 레벨 데이터로 확장되어 파일 간 의존성 추론에 더 효과적임이 확인됐다.

전문가 모델과 지식 증류

하나의 범용 모델 대신 웹 개발, 사용자 경험(UX) 등 도메인별 전문가 모델을 학습해 정점 성능에 도달한 뒤, 그 능력을 단일 80B/3B MoE로 증류했다. 웹 전문가 모델은 Playwright로 제어되는 크로미움 환경에서 UI 구성·컴포넌트 조합 작업을 수행하고, 리액트 샘플은 Vite 서버로 종속성을 초기화했다. 이후 비전-언어 모델(VLM)이 레이아웃 무결성과 UI 품질을 판정했다. UX 전문가는 Cline, OpenCode 등 다양한 CLI/IDE 스캐폴드의 도구 호출 포맷 준수를 최적화했으며, 다양한 템플릿 노출이 배포 시 미지 스키마에 대한 강건성을 높였다.

벤치마크와 보안 성능

Qwen3-Coder-Next는 SWE-Agent 스캐폴드 기반 평가에서 활성 파라미터 대비 우수한 효율을 보였다. SWE-Bench Verified에서 70.6%를 기록해 DeepSeek-V3.2(70.2%)를 앞서고 GLM-4.7(74.2%)에 근접했다. 보안 측면에선 SecCodeBench 코드 생성·취약점 수리 시나리오에서 61.2%로 Claude-Opus-4.5(52.5%)를 상회했다. 보안 힌트가 없는 조건에서도 높은 점수를 유지했으며, 다국어 보안 평가인 CWEval의 func-sec@1에서도 56.32%로 DeepSeek-V3.2와 GLM-4.7을 능가했다.

비공개 거대 모델에 대한 도전과 의미

2026년 폐쇄형 코딩 모델의 지배에 대한 가장 강력한 도전 중 하나로, Qwen3-Coder-Next는 3B 활성 파라미터만으로 실제 소프트웨어 엔지니어링의 복잡성을 효과적으로 다룰 수 있음을 보여준다. 업계가 깨달은 ‘아하 모먼트’는 에이전트 성공의 핵심이 모델 크기보다 문맥 길이와 처리량이라는 점이다. 262k 토큰 규모의 리포지토리를 빠르게 읽고 도커 컨테이너에서 스스로 검증하는 모델은 느리고 비싼 거대 모델보다 실용성이 높다. 보고서가 강조하듯, 성능 진전의 동력은 모델 규모 확대가 아니라 에이전트형 학습의 스케일링이다.

도입 포인트

오픈웨이트, 상용 허용 라이선스(Apache 2.0), 3B 활성로 인한 높은 처리량, 저장소 레벨 최적화와 보안 복원력은 엔터프라이즈와 인디 개발자 모두에게 매력적이다. 허깅페이스의 4개 변형 가중치와 기술 보고서를 참고해 파일 간 의존성, 장문맥 탐색, 도구 호출 체계와 같은 실제 워크로드에 Qwen3-Coder-Next를 시험 적용할 만하다.