Sakana AI CTO 리온 존스, '트랜스포머 지긋지긋'…다음 돌파구 모색

리온 존스, 트랜스포머 중심 연구에 경고

트랜스포머의 공동 설계자 리온 존스(Sakana AI CTO)는 샌프란시스코 TED AI 무대에서 현재 인공지능 연구가 단일 아키텍처에 위험할 정도로 좁게 수렴했다고 비판하며, 자신도 트랜스포머 연구 비중을 크게 줄이고 다음 돌파구를 모색하겠다고 밝혔다. 구글 재직 시 발표한 'Attention Is All You Need'는 10만 회 이상 인용되며 생성형 AI 붐의 토대를 놓았지만, 그는 바로 그 성공이 새로운 길을 보는 눈을 가릴 수 있다고 경고했다.

왜 더 많은 자금이 창의성을 갉아먹나

그는 투자수익을 요구하는 자본과 과밀 경쟁 속에서 연구자들이 서로 같은 아이디어에 먼저 치였는지 확인하고, 안전한 주제와 빠른 논문을 택하는 관행이 과학을 해치고 창의성을 떨어뜨린다고 지적했다. 지금 표준적인 AI 연구를 하면 3~4개 팀이 거의 같은 일을 하고 있다고 가정해야 한다는 것이다.

탐색 대 활용: 트랜스포머 이전이 남긴 교훈

존스는 알고리즘의 '탐색(exploration) 대 활용(exploitation)' 절충을 비유로 들었다. 탐색이 부족하면 국소해에 머문다. 트랜스포머 등장 직전 순환신경망(RNN)을 끝없이 미세조정하던 시절을 상기하며, 지금도 트랜스포머 한 가지를 변주하는 데 몰두하다가 코앞의 더 나은 해법을 놓칠 수 있다고 우려했다.

'Attention Is All You Need'가 탄생한 자유

트랜스포머는 위에서 찍어내린 과제나 성과 지표 압박이 아니라, 점심 대화와 화이트보드 낙서 같은 자율적 탐색에서 나왔다고 그는 회고했다. 관리층의 마감·성과 압력이 없었기에 '좋은 아이디어인지 확신이 없던' 단계에서도 시간을 투자해 실험할 수 있었다.

Sakana AI: 자유가 연봉을 이긴다

존스는 Sakana AI에서 논문 경쟁이나 벤치마크 추격 압박을 낮추고, 자연에서 영감 받은 탐색을 장려한다. 브라이언 청의 문구인 “당신이 아니면 일어나지 않을 연구만 하라”를 팀의 원칙으로 제시했다. 그 사례로 뇌의 동기화 개념을 신경망에 접목한 ‘연속 사고 머신(continuous thought machine)’을 꼽으며, 과거 직장이었다면 비생산적이라며 접었을 아이디어를 1주일 탐색하게 해 NeurIPS에서 주목받는 성과로 키웠다고 밝혔다. 그는 이런 자유가 억대 연봉 못지않은 인재 유인책이라고도 말했다.

트랜스포머의 성공이 다음 돌파구를 막는다?

현재 기술, 특히 트랜스포머가 너무 강력하고 유연하기 때문에 더 나은 대안을 찾으려는 동기가 약해졌다는 것이 그의 진단이다. 그는 트랜스포머 연구의 가치를 폄하하지 않으면서도, 지금의 인재와 자원이면 더 대담한 탐색을 병행할 여력이 충분하다고 강조했다.

협력과 공개로 ‘탐색 다이얼’을 높이자

존스는 경쟁보다 협력을, 비공개보다 공개 공유를 촉구했다. 단순히 더 큰 트랜스포머를 쌓는 접근이 수확 체감 구간에 들어섰다는 징후가 있는 만큼, 다음 단계의 진전에는 규모가 아닌 아키텍처 혁신과 인센티브 재설계가 필요하다는 것이다. 그는 모두가 탐색 다이얼을 올리고 결과를 개방적으로 나눌 때 목표에 더 빨리 도달할 수 있다고 말했다.

무엇이 걸려 있는가

다음 ‘트랜스포머급’ 혁신은 바로 눈앞에서 자유롭게 탐색하는 연구자에게 발견될 수도, 혹은 수천 명이 트랜스포머의 미세 개선 경쟁에 매달리는 사이 묻힐 수도 있다. 트랜스포머와 가장 오래 함께한 창시자가 이제는 떠날 때를 안다고 말하는 경고에 업계가 어떻게 답할지가 관건이다.