AI 모델 부분 재학습으로 비용 절감과 망각 방지 입증

연구 개요: 부분 재학습으로 비용과 망각 모두 잡기

기업이 LLM을 파인튜닝할 때 일부 능력이 사라지는 일이 잦다. 일리노이대 어배나-섐페인 연구팀은 이를 치명적 망각이 아니라 작업 분포 이동이 만든 출력 분포 편향으로 진단하고, 전체를 다시 학습하지 않고도 효과를 내는 부분 재학습을 제안했다.

배경: 파인튜닝과 치명적 망각의 진실

새로운 대규모 멀티모달 모델(LMM) 학습은 수백만 달러, 수주, 그리고 막대한 CO2 배출을 유발한다. 연구팀은 학습을 보존하면서 출력 변화는 최소화하는 튜닝 레시피를 탐색했으며, 파인튜닝 후 보이던 성능 저하는 장기 기억 상실이 아니라 편향 드리프트에 가깝다고 주장했다. 이러한 관점이 부분 재학습의 필요성을 뒷받침한다.

방법: MLP와 SA 프로젝션에 초점을 맞춘 부분 재학습

연구는 이미지로부터 응답을 생성하는 LLaVA와 Qwen 2.5-VL에 대해 진행됐다. 팀은 셀프 어텐션 프로젝션(SA Proj)만 또는 MLP만 따로 튜닝해 비교했다. 관찰에 따르면, MLP를 전면 조정하면 숫자 토큰 출력 경향이 커지고 홀드아웃 작업 정확도가 동반 하락했다. 반면 MLP의 업·게이팅 프로젝션만 조정하고 다운 프로젝션을 고정하면, 전체 MLP 튜닝에 준하는 학습 효과를 내면서 망각은 적었다. 더 나아가 SA Proj만 조정해도 목표 과제를 잘 학습하고 홀드아웃 성능 하락이 거의 없었다.

결과: 성능 회복과 출력 드리프트 억제

연구진은 카운팅 과제 학습 직후 홀드아웃 벤치마크에서 성능이 크게 떨어졌지만, 벤치마크에 충분히 반영되지 않은 특수 작업인 PathVQA에서는 성능이 대부분 회복되는 점을 확인했다. 또한 다섯 개의 목표 과제를 순차 학습해도 SA Proj만 조정하는 경우 홀드아웃 성능 저하 없이 목표 과제 학습이 이뤄졌다. 이는 관측된 망각이 일시적 출력 편향일 가능성을 뒷받침한다.

실제 적용 예시

기업이 도메인 특화 과제(예: 수량 세기, 의료 질의응답)를 추가 학습할 때, SA 프로젝션만 저학습률로 미세 조정하거나 MLP의 업·게이팅만 조정하고 다운 프로젝션은 고정한다. 이렇게 하는 부분 재학습은 기존 능력을 보존하면서 목표 과제 성능을 올리고, 숫자 토큰 과다 출력 같은 분포 편향을 줄인다.

비용·환경 효과와 재현성

새 LMM 학습은 막대한 비용과 시간이 든다. 반면 부분 재학습은 모델의 좁은 경로만 조정해 연산 자원을 크게 절감하고, 출력 드리프트를 세밀하게 제어하며, 절차가 단순해 재현성도 높다.

한계와 확장 가능성

이번 결과는 비전-언어 모델 두 종(LLaVA, Qwen 2.5-VL)에 한정됐다. 자원 제약으로 다른 모델 검증은 이루어지지 않았지만, 원리는 다른 모달리티의 LLM에도 확장 가능하다. 부분 재학습을 통한 효율적 업데이트는 향후 기업형 모델 운영의 유력한 기본 전략이 될 수 있다.