링크드인, 프롬프팅은 한계…소형 모델과 멀티 티처 증류로 돌파구

프롬프팅 한계를 넘어: 소형 모델과 멀티 티처 증류

LinkedIn은 15년 넘게 AI 추천 시스템을 이끌어왔지만, 차세대 스택을 위해서는 기성 모델과 프롬프팅만으로는 정확도, 지연시간, 효율을 동시에 끌어올릴 수 없다고 판단했다. 그래서 애초에 프롬프팅 접근은 배제하고, 제품 정책 중심의 학습·평가 체계를 설계해 소형 모델 중심의 운영 전략을 세웠다.

제품 정책에 앵커링한 데이터와 평가

제품팀과 협업해 채용 공고–프로필 페어를 다차원 기준으로 점수화한 20~30쪽 분량의 제품 정책 문서를 수립하고, 수천 개 쿼리–프로필 페어로 구성된 골든 데이터셋을 마련했다. 이 데이터는 생성·실험 단계에서 ChatGPT를 활용해 점수 학습을 유도하고, 더 큰 합성 데이터셋을 만들어 70억 파라미터 교사 모델을 학습하는 데 쓰였다.

멀티 티처 증류로 정책 준수와 클릭 예측을 결합

정책 정합성만으로는 운영에 부족하므로, 첫 번째 교사(정책 정합)로부터 클릭 예측에 특화된 두 번째 교사를 만들고, 두 교사를 활용한 멀티 티처 증류로 17억 파라미터 학생 모델을 도출했다. 다수의 학습 런과 단계별 최적화를 통해 품질 손실을 최소화했으며, 원래 제품 정책과의 높은 친화도를 유지한 채 클릭 예측 성능을 확보했다.

모듈화된 학습 파이프라인과 소형 모델 최적화

팀은 학습 과정을 모듈화·컴포넌트화하여 학생 모델을 유연하게 개선할 수 있게 했고, 수억~수십억 파라미터 구간의 소형 모델로 지연시간과 비용을 크게 낮췄다. 예를 들어 대화형 에이전트에 비유하면, 한 교사는 응답 정확도, 다른 교사는 톤과 커뮤니케이션을 가르치고, 멀티 티처 증류로 두 목표를 혼합하면서도 각 목표는 독립적으로 반복 개선할 수 있다.

조직 협업의 변화와 재사용 가능한 ‘쿠크북’

핵심은 견고한 제품 정책과 반복 가능한 평가 프로세스다. 과거에는 PM이 전략·UX에, ML 엔지니어가 모델 반복에 각각 집중했지만, 이제는 양 팀이 함께 정책을 정밀 조정해 정렬된 교사 모델을 만든다. 이 접근은 LinkedIn 전반의 AI 제품에 재사용되는 ‘쿠크북’으로 정착했고, 주 단위가 아닌 하루·수시간 단위로 결과를 내는 R&D 속도 향상으로 이어졌다.

플러그형 실험 파이프라인과 디버깅의 가치

유연성을 위해 다양한 모델을 끼워 넣고 시험할 수 있는 파이프라인을 구축했으며, 전통적 엔지니어링 디버깅의 중요성도 재확인했다. 이런 기반 위에서 멀티 티처 증류는 정책 일관성과 개인화 성능을 동시에 높이는 실질적 돌파구가 되었다.

핵심 포인트

• 프롬프팅 의존 대신 제품 정책·골든 데이터·멀티 티처 증류로 품질을 끌어올렸다.
• 70억 교사 → 클릭 예측 교사 → 17억 학생으로 증류해 정확도·지연시간·효율을 균형화했다.
• PM–ML 공동 작업과 엔드투엔드 평가 프로세스가 조직의 표준 청사진이 되었다.