현대 AI의 발판을 마련한 논문: 8명의 Google 직원과 함께한 비하인드 스토리

출처: AIfan

8명의 Google 직원이 우연히 만나 인공지능 분야, 특히 인간과 유사한 텍스트를 이해하고 생성하는 데 있어 획기적인 기술 혁신인 '트랜스포머' 논문을 공동 집필했습니다.

2017년 봄, 한 명은 이미 퇴사했지만 8명의 저자가 서명한 "주의력만 있으면 충분하다"라는 과학 논문이 발표되었습니다(모두 Google 출신). 선임 저자인 노암 셰이저는 자신의 기여도가 가장 중요하다는 것을 암시하는 듯한 초고를 보고 자신의 이름이 맨 위에 있는 것을 보고 깜짝 놀랐습니다. 이에 대해 그는 "일부러 그런 생각을 하지 않았다"고 말했습니다.

학계에서 저자의 이름 순위를 매기는 것은 항상 미묘한 균형을 잡는 작업이었습니다. 특히 모두가 진정한 팀 노력으로 독특한 흔적을 남긴 상황에서는 더욱 그렇습니다. 서둘러 논문을 완성해야 하는 상황에서 연구팀은 마침내 관행을 깨고 기여자의 순위를 매기지 않기로 결정했습니다. 연구팀은 각 이름 옆에 별표와 각주를 추가하여 "동등한 기여자"라고 표시하고 "순위는 무작위"라고 명시했습니다. 그 후 이 논문은 권위 있는 AI 컨퍼런스에서 발표되었고, 이는 혁명을 일으켰습니다.

이름: 노암 셰이저 / 직업: Role AI 공동창업자 겸 CEO

오늘도 컨퍼런스에서 'Attention'이 논의되면서 이 논문이 많은 관심을 받고 있습니다. "Attention" 논문은 발표 7주년을 맞이하며 전설적인 지위를 얻었습니다. 이 논문의 저자들은 인공 지능 기술인 신경망을 새로운 차원으로 끌어올려 외계인의 지능을 가진 것처럼 보일 정도로 강력한 디지털 시스템을 만들었습니다. 트랜스포머로 알려진 이 아키텍처는 ChatGPT와 그래픽 생성기인 Dall-E 및 Midjourney를 비롯한 모든 놀라운 AI 제품의 신비한 원동력이었습니다.

Shazeer는 이 논문이 얼마나 유명해질지 알았다면 "저자 목록의 순서에 대해 더 걱정했을 것"이라고 농담을 던지기도 했습니다. 현재 8명의 저자는 모두 미니 연예인이 되었고, 라이온 존스(무작위 5위)는 "논문 작업을 했다는 이유로 사람들이 셀카를 찍어달라는 요청을 받은 적이 있다"고 말합니다.

이름: 라이온 존스/직업: 사카나 AI의 공동 설립자

"트랜스포머가 없었다면 오늘날 우리가 이 자리에 있을 수 없었을 것입니다."라고 이 논문의 저자는 아니지만 세계적으로 유명한 AI 과학자인 제프리 힌튼은 말합니다. 그는 OpenAI와 같은 기업이 어떤 면에서는 인간의 능력을 능가하는 시스템을 구축하고 있는 지금 우리가 살고 있는 변혁의 시대를 언급하고 있었습니다.

8명의 저자는 이후 Google을 떠났습니다. 이제 이들은 수백만 명의 다른 사람들과 마찬가지로 모두 2017년에 개발한 기술을 어떤 식으로든 사용하고 있습니다. 저는 트랜스포머의 저자 8명을 만나 인간의 독창성이 모여 결국 스스로 종말을 맞이할 수 있는 기계를 만들어낸 이 획기적인 기술의 전체 그림을 정리해 보았습니다.

트랜스포머의 이야기는 목록의 네 번째 이름인 야콥 우스코라이트의 아버지 한스 우스코라이트는 저명한 전산 언어학자로 1960년대 말 소련의 체코슬로바키아 침공에 항의하다 동독에서 15개월간 수감된 적이 있습니다. 석방 후 서독으로 망명하여 베를린에서 컴퓨터와 언어학을 공부했습니다. 이후 미국으로 건너가 캘리포니아 멘로 파크에 있는 SRI 연구소에서 일했고, 야콥이 태어났을 때 그곳에서 일했습니다. 결국 가족은 독일로 돌아와 야콥이 대학을 다녔습니다.

이름: 야콥 우츠코리트 / 직업: INCEPTIVE의 공동 창립자 겸 CEO

원래 언어에 집중할 계획은 없었지만, 대학원 공부를 시작하면서 구글 마운틴뷰 사무실에서 인턴을 하고 번역팀에 합류했습니다. 박사 과정을 포기하고 2012년에는 사용자의 질문을 다른 사이트로 리디렉션하지 않고 검색 페이지에서 바로 답변할 수 있는 시스템을 개발하는 Google 팀에 합류하기로 결정했습니다. 당시 Apple은 일상적인 대화에서 일회성 답변을 제공하는 가상 비서 Siri를 막 출시했을 때였고, Google 경영진은 Siri가 검색 트래픽을 위협할 수 있다고 생각했습니다. 그들은 우즈코라이트의 새로운 팀에 더 많은 관심을 기울이기 시작했습니다.

"그것은 잘못된 공포였습니다."라고 우즈코라이트는 말합니다."Siri는 실제로 구글을 위협하지 않았습니다. 하지만 그는 컴퓨터가 인간과 대화하는 시스템을 탐구할 수 있는 기회를 환영했습니다. 당시 학계의 변두리 영역이었던 순환 신경망은 갑자기 다른 AI 엔지니어링 방법을 추월하기 시작했습니다. 이러한 네트워크는 정보를 반복적으로 전달하여 최적의 응답을 식별하는 여러 계층으로 구성됩니다.

신경망은 이미지 인식과 같은 분야에서 큰 성공을 거두면서 AI 르네상스 운동이 갑자기 일어났습니다. 구글은 이러한 기술을 도입하기 위해 미친 듯이 인력을 구조조정하고 있습니다. 이메일의 문장 완성을 자동화하거나 비교적 간단한 고객 서비스 챗봇을 만드는 등 사람과 같은 응답을 생성하는 시스템을 구축하고자 합니다.

그러나 이 분야는 한계에 부딪혔습니다. 반복 신경망은 긴 텍스트 덩어리를 처리하는 데 어려움을 겪습니다. 예를 들어, "Joe는 야구 선수이고, 아침 식사를 잘 먹고 공원에 가서 안타 두 개를 쳤다"라는 문장에서 '안타 두 개'를 이해하려면 언어 모델은 "Joe는 야구 선수이고, 아침 식사를 잘 먹고 공원에 가서 안타 두 개를 쳤다"라는 문장에서 '안타 두 개'라는 단어를 기억해야 합니다. "라는 문장에서 언어 모델은 야구에 대한 정보를 기억해야 합니다. 인간의 관점에서 보면 집중력을 유지해야 했습니다.

당시의 해결책은 언어 모델이 더 크고 복잡한 텍스트 시퀀스를 처리할 수 있도록 하는 '장단기 기억(LSTM)'이라는 기술이었습니다. 그러나 컴퓨터는 여전히 이러한 시퀀스를 단어 단위로 엄격한 순서로 처리하고 텍스트 뒤에 나타날 수 있는 문맥적 단서를 무시했습니다. "우리가 적용하고 있는 방법은 기본적으로 임시방편에 불과합니다."라고 우즈코라이트는 말합니다. "제대로 된 방법을 대규모로 적용할 수는 없습니다."

2014년 무렵, 그는 자기 중심적 접근법이라고 부르는 다른 접근법을 구상하기 시작했습니다. 이러한 네트워크는 텍스트의 다른 부분을 참조하여 단어를 번역할 수 있습니다. 이러한 다른 부분은 단어의 의도를 명확히 하고 시스템이 좋은 번역을 생성하는 데 도움이 될 수 있습니다. "실제로 모든 것을 고려하고 한 번에 많은 입력을 살펴본 다음 상당히 선택적인 방식으로 무언가를 꺼낼 수 있는 효율적인 방법을 제공합니다."라고 그는 말합니다. AI 과학자들은 신경망의 은유를 생물학적 뇌의 실제 작동 방식과 혼동하지 않도록 주의하지만, 우스코라이트는 자기 주의가 인간이 언어를 처리하는 방식과 다소 유사하다고 생각하는 듯합니다.

우즈코라이트는 자기 주의 모델이 반복 신경망보다 더 빠르고 효율적일 수 있다고 믿습니다. 또한 이 모델의 정보 처리 방식은 머신러닝 붐을 뒷받침하는 대량 생산 병렬 처리 칩에 매우 적합합니다. 선형적 접근 방식(각 단어를 순서대로 살펴보는 방식)이 아니라 병렬적 접근 방식(여러 단어를 한 번에 살펴보는 방식)을 취하기 때문입니다. 우즈코라이트는 셀프 포커스만 제대로 사용하면 더 나은 결과를 얻을 수 있다고 생각합니다.

아들이 회사에서 일하는 동안 구글 교수 연구상을 두 번이나 수상한 우즈코라이트의 아버지를 포함해 모든 사람이 이 아이디어가 세상을 바꿀 것이라고 생각한 것은 아니었습니다. "기존의 신경 아키텍처를 모두 버리는 것이기 때문에 사람들은 회의적이었습니다."라고 Jakob Uszkoreit은 말합니다. 반복 신경망에 작별을 고할까요? 이단입니다! "저녁 식탁에서 아버지와 대화할 때 우리는 정확히 동의하지 않습니다."

우스코라이트는 몇몇 동료들에게 셀프 포커스 실험을 해보라고 설득했습니다. 그들의 연구는 가능성을 보였고 2016년에 이에 대한 논문을 발표했습니다. 우스코라이트는 자신의 연구를 더욱 발전시키고 싶었지만 - 팀의 실험은 텍스트의 아주 작은 부분만 사용했습니다 - 그의 공동 작업자 중 누구도 관심을 보이지 않았습니다. . 대신 도박꾼처럼 그들은 겸손한 승리를 거두고 카지노를 떠나 검색과 궁극적으로 광고를 포함한 Google의 모든 다른 영역에 배운 교훈을 적용했습니다. 여러 면에서 놀라운 성공을 거뒀지만 우스코라이트는 여기서 멈추지 않았습니다.

우즈코라이트는 자기 집중을 통해 더 큰 일을 해낼 수 있다고 믿습니다. 그는 구글 캠퍼스 북쪽 가장자리에 있는 1945 찰스턴 로드에 있는 건물에 있는 화이트보드에 자신의 비전을 명확하게 표현하고, 심지어는 듣지 않는 사람에게도 자신의 비전을 스케치하곤 했습니다.

2016년 어느 날, 우스코라이트는 구글 카페에서 일리아 폴로수킨이라는 과학자와 함께 점심을 먹고 있었습니다. 우크라이나 태생인 폴로수킨은 3년 가까이 구글에서 근무하고 있었습니다. 그는 검색창에서 직접 제기된 질문에 답변하는 팀에 배치되었습니다. 일이 잘 풀리지 않았습니다. 폴로수킨은 "Google.com에서 답변하려면 매우 저렴하고 성능이 뛰어난 제품이 필요합니다."라고 말합니다. "응답할 시간이 몇 밀리초밖에 없으니까요." 폴로수킨이 불만을 토로하자 우즈코라이트는 주저하지 않고 해결책을 제시했습니다. "셀프 포커스를 사용하면 어떨까요?"라고 그는 제안했습니다. 폴로수킨이 말했습니다.

이름: ILLIA POLOSUKHIN/직업: NEAR의 공동 창립자

Polosukhin 가끔 동료인 아시시 바스와니와 협업 인도에서 태어나 중동에서 자란 바스와니는 서던 캘리포니아 대학교에서 엘리트 기계 번역가 팀에서 박사 학위를 취득했습니다. 그 후 마운틴뷰로 옮겨 구글, 특히 구글 브레인이라는 새로운 조직에 합류했습니다. 그는 Brain을 "신경망이 인간의 이해를 발전시킬 것"이라고 믿는 "급진적인 팀"이라고 설명합니다. 하지만 그는 여전히 큰 프로젝트를 찾고 있었습니다. 그의 팀은 1945년 건물인 1965년 건물 옆에서 일하고 있었는데, 그때 셀프 포커스 아이디어에 대한 이야기를 들었습니다. 그 프로젝트가 될까요? 그는 진행하기로 동의했습니다.

세 명의 연구원은 함께 "트랜스포머: 반복적인 셀프 포커스와 다양한 작업 처리"라는 설계 문서의 초안을 작성했습니다. 우즈코라이트는 "첫날"부터 "트랜스포머"라는 이름을 선택했다고 말했습니다. 이 메커니즘이 수신한 정보를 변환하여 시스템이 가능한 한 많은 이해를 추출하거나 적어도 그런 인상을 줄 수 있도록 한다는 의미입니다. 또한 우즈코라이트는 어린 시절 해즈브로 액션 피겨 장난감을 가지고 놀았던 추억이 있습니다. "어렸을 때 작은 트랜스포머 장난감을 두 개나 가지고 있었어요."라고 그는 말합니다. 이 문서는 산악 지형에서 6대의 트랜스포머가 서로에게 레이저를 쏘는 만화 같은 이미지로 끝납니다.

이름: 아쉬시 바스와니/직업: 에센셜 AI의 공동 창립자 겸 CEO

이 논문은 "우리는 훌륭합니다"라는 다소 건방진 문장으로 시작됩니다.

2017년 초, 폴로수킨은 자신의 회사를 창업하기 위해 구글을 떠났습니다. 그 무렵 새로운 협력자들이 합류했습니다. 미국으로 이주하기 전 인도에서 미국 소프트웨어 회사에서 일했던 인도인 엔지니어 니키 파마르가 그 주인공입니다. 2015년 서던 캘리포니아 대학교에서 석사 학위를 받은 그녀는 모든 대기업에서 영입 제안을 받았습니다. 그녀는 Google을 선택했습니다. 일을 시작하자마자 그녀는 Uszkoreit에 합류하여 Google 검색의 모델 변형을 개선하는 일을 했습니다.

또 다른 새 멤버는 웨일즈에서 태어나고 자란 라이온 존스로, "컴퓨터는 평범하지 않기 때문에" 컴퓨터를 좋아합니다. 버밍엄 대학교에서 AI 과정을 수강하면서 신경망에 대한 호기심을 갖게 되었습니다. 2009년 7월에 석사 학위를 취득한 그는 경기 침체기에 일자리를 찾지 못해 몇 달 동안 무일푼으로 살았습니다. 그는 지역 회사에 취직했다가 '절박한 심정'으로 구글에 지원했습니다. 결국 합격한 그는 폴로수킨이 매니저로 있던 구글 리서치에 입사했습니다.

어느 날 Jones는 매트 켈시라는 동료로부터 자기 집중이라는 개념에 대해 듣게 되었고, 이후 트랜스포머 팀에 합류하게 됩니다. (나중에 Jones는 켈시를 만나 트랜스포머 프로젝트에 대해 브리핑을 받았습니다.) 켈시는 이를 믿지 않았습니다. "저는 그에게 '그게 잘 될지 모르겠다'고 말했는데, 그게 제 인생에서 가장 큰 오판이었죠."라고 켈시는 지금 말합니다.)

이름: 니키 파마르 / 직업: 에센셜 AI 공동 창립자

변환기 연구는 다른 구글 브레인 연구원들의 대규모 언어 모델을 개선하려는 다른 구글 브레인 연구원들의 관심을 끌었습니다. 폴란드 태생의 이론 컴퓨터 과학자 우카스 카이저와 그의 인턴 에이단 고메즈는 캐나다 온타리오의 작은 농촌 마을에서 자랐으며, 그의 가족은 매년 봄 메이플 시럽을 만들기 위해 단풍나무를 두드렸습니다.

토론토 대학교 3학년이던 그는 "첫눈에" AI에 반해 제프리 힌튼의 머신러닝 그룹 연구실에 합류했습니다. 그는 구글에서 흥미로운 논문을 쓴 사람들에게 연락을 취하며 자신의 연구를 확장하고 싶다는 생각을 했고, 카이저는 미끼를 던져 그를 인턴으로 초대했습니다. 몇 달이 지나고 나서야 고메즈는 이 인턴십이 자신과 같은 학부생이 아닌 박사 과정 학생을 대상으로 한다는 사실을 깨달았습니다.

카이저와 고메즈는 곧 자기 집중이 자신들이 해결해야 할 문제에 대한 보다 근본적인 해결책이 될 수 있다는 사실을 깨달았습니다. "우리는 두 프로그램을 통합할 것인지에 대해 진지하게 논의했습니다."라고 고메즈는 말합니다. 답은 '그렇다'였습니다.

트랜스포머 팀은 한 언어에서 다른 언어로 텍스트를 번역하는 자체적인 모델을 구축하기 시작했습니다. 그리고 기계의 결과물을 인간 번역가의 작업과 비교하는 BLEU라는 벤치마크를 사용하여 성능을 측정했습니다. 처음부터 새 모델은 잘 작동했습니다. 우즈코라이트는 "개념 증명도 없던 상태에서 최소한 당시 LSTM을 대체할 수 있는 최상의 대안과 비슷한 수준의 성능을 갖추게 되었습니다."라고 말합니다. 하지만 장단기 기억과 비교하면 "더 나은 것은 아니었습니다."

2017년 어느 날 우연히 노암 셰이저가 이 프로젝트에 대한 이야기를 듣게 되면서 연구팀은 정체기에 도달했습니다. 셰이저는 2000년에 입사한 베테랑 Google 직원으로, 사내 전설적인 인물입니다. -- 회사의 초기 광고 시스템에서 일한 것을 시작으로 사내에서 전설적인 인물로 통합니다.5년 동안 딥러닝을 연구해 온 Shazeer는 최근 대규모 언어 모델에 관심을 갖게 되었습니다. 하지만 이러한 모델은 그가 생각하는 유려한 대화를 생성하는 것과는 거리가 멀었습니다.

샤지르는 1965빌딩 복도에 있는 카이저의 작업 공간을 지나가던 중이었다고 회상합니다. 그는 활발한 토론을 듣고 있는 자신을 발견했습니다. "아시시가 셀프 포커스 사용에 대한 아이디어를 이야기하고 있었고, 니키가 매우 흥분하고 있던 것이 기억납니다. 저는 와, 정말 좋은 아이디어라고 생각했죠. 재미있고 똑똑한 팀이 유망한 일을 하고 있는 것 같았어요." Shazeer는 기존의 순환 신경망에 "분노"를 느꼈고 "이를 대체하자!"라고 생각했습니다.

Shazeer가 팀에 합류한 것이 결정적이었습니다. "셀프 포커스와 같은 이론적이거나 직관적인 메커니즘은 항상 매우 신중하게 구현해야 하며, 보통 경험이 풍부한 '마술사'가 생명력을 보여줘야 합니다."라고 Uszkoreit은 말합니다.Shazeer는 즉시 그의 마술 그는 트랜스포머 팀 코드를 직접 작성하기로 결정했습니다. "기본 아이디어를 가져와서 직접 작동하도록 만들었습니다."라고 그는 말합니다.

때때로 카이저에게 질문을 하기도 했지만, 대부분 "잠시 해보고 돌아와서 '봐요, 작동해요'라고 말하곤 했습니다."라고 그는 말합니다. 나중에 팀원들이 "마법", "연금술", "종소리와 휘파람" 같은 용어로 묘사한 것을 사용하여 그는 시스템을 다음 단계로 발전시켰습니다.

"이것이 계기가 되었습니다."라고 고메즈는 말합니다. 그들은 의욕이 넘쳤고, 다가오는 마감일인 5월 19일에 맞춰 12월에 열리는 연중 가장 큰 AI 행사인 신경 정보 처리 시스템 컨퍼런스에서 발표할 논문을 제출하고자 합니다. 발표할 논문 제출일입니다. 실리콘 밸리의 겨울이 봄으로 바뀌면서 실험의 속도도 빨라졌습니다. 연구진은 12시간의 훈련으로 제작된 트랜스포머 모델과 3일 반에 걸쳐 훈련된 더 강력한 버전인 '빅'이라는 이름의 트랜스포머 모델을 테스트했습니다. 그리고 영어에서 독일어로 번역을 시작하게 했습니다.

기본 모델은 모든 경쟁 모델을 능가하는 성능을 보였고, 빅은 계산 효율이 더 높으면서도 이전 기록을 결정적으로 깨고 BLEU 점수를 획득했습니다. "우리는 그 누구보다 빠르게 해냈습니다."라고 파마르가 말했습니다. "그리고 이것은 시작에 불과합니다. 수치가 계속 좋아지고 있기 때문입니다." 우즈코라이트는 이 소식을 듣고 산악 모험 트럭에 보관하고 있는 오래된 샴페인 병을 꺼내어 축하했습니다.

마감일을 2주 앞둔 마지막 2주 동안 팀의 작업 속도는 정신없이 빨라졌습니다. 공식적으로는 일부 팀원이 여전히 빌딩 1945에 책상을 두고 있었지만, 대부분은 더 나은 에스프레소 머신이 있는 소형 주방이 있는 빌딩 1965에서 일했습니다. "사람들은 거의 잠을 자지 못했습니다."라고 인턴 시절 디버깅과 논문용 시각화 및 도표 작성으로 바빴던 고메즈는 회상합니다. 이러한 프로젝트에서는 특정 부품을 제거하여 나머지 부품이 작업에 충분한지 확인하는 제거 실험이 자주 수행됩니다.

"우리는 가능한 모든 트릭과 모듈을 조합하여 효과가 있는 것과 그렇지 않은 것을 시도했습니다. 우리는 계속 시도하고 교체했습니다."라고 고메즈는 말합니다. "모델이 왜 그렇게 직관적이지 않은 방식으로 작동했을까요? 마스킹을 제대로 하지 않았기 때문입니다. 이제 작동하나요? 좋아요, 다음 단계로 넘어가죠. 현재 우리가 트랜스포머라고 부르는 모든 구성 요소는 이러한 고속의 반복적인 시행착오 프로세스의 산물입니다." 존스는 Shazeer의 코드 구현 덕분에 절제 실험을 통해 "어떤 단순함"을 얻을 수 있었다고 말합니다. "노암은 마법사입니다."

바스와니는 팀이 논문 작업을 하는 동안 사무실 소파에서 밤을 보낸 적이 있다고 기억합니다. 그는 소파를 방의 나머지 부분과 분리하는 커튼을 바라보다가 시냅스와 뉴런처럼 보이는 커튼의 패턴에 흥미를 느꼈고, 고메즈와 바스와니는 그들이 하고 있는 일이 기계 번역을 뛰어넘을 것이라고 말했습니다. "궁극적으로 인간의 뇌처럼 음성, 오디오, 시각 등 모든 양식을 단일 아키텍처 아래 통합해야 합니다."라고 그는 말했습니다. "저는 우리가 보다 보편적인 무언가를 발견하기 직전이라는 강한 직감이 듭니다."

그러나 구글 고위층에서는 이 작업을 또 하나의 흥미로운 AI 프로젝트로만 보고 있습니다. 저자들은 상사가 정기적으로 프로젝트 진행 상황을 업데이트하기 위해 그들을 호출하느냐는 질문에 별다른 대답을 하지 않았습니다. 하지만 우즈코라이트는 "우리는 이것이 꽤 큰 일이 될 수 있다는 것을 알고 있었습니다."라고 말합니다. "그래서 우리는 실제로 논문 마지막에 나오는 한 문장에 집착하게 되었습니다."

그 문장은 앞으로 일어날 일, 즉 트랜스포머 모델을 본질적으로 모든 형태의 인간 표현에 적용하는 일을 예고하는 것이었습니다. "우리는 주의 기반 모델링의 미래에 대해 기대가 큽니다."라고 그들은 썼습니다. "우리는 트랜스포머를 텍스트 이외의 입력 및 출력 양식과 관련된 문제로 확장하고 "이미지, 오디오 및 비디오"를 연구할 계획입니다."

마감일 며칠 전 어느 날 밤, 우스코라이트는 제목이 필요하다는 사실을 깨달았고, 존스는 팀이 이미 한 가지 기법을 근본적으로 거부한 적이 있다고 지적했습니다. 비틀즈는 노래 제목을 "All You Need Is Love"라고 지은 적이 있습니다. 논문 제목을 "주의만 있으면 됩니다"라고 지으면 어떨까요?

"저는 영국인입니다."라고 Jones는 말합니다. "정말 5초밖에 생각하지 않았어요. 사람들이 이 이름을 사용할 줄은 몰랐죠."

마감일까지 실험 결과를 계속 수집했습니다. "논문 제출 5분 전에 영어와 프랑스어 수치 결과가 들어왔습니다."라고 파마르는 말합니다. "1965빌딩의 미니어처 주방에 앉아 있다가 마지막 숫자를 받았죠." 서둘러 논문을 보낼 시간이 2분밖에 남지 않은 상황이었죠.

Google은 거의 모든 다른 기술 기업과 마찬가지로 이 작업에 대한 임시 특허를 신속하게 출원했습니다. 다른 사람이 아이디어를 사용하는 것을 막기 위해서가 아니라 방어적인 목적으로 특허 포트폴리오를 구축하기 위해서였습니다. (구글의 철학은 "기술이 발전하면 구글도 그 혜택을 누릴 수 있다"입니다.)

트랜스포머 팀이 컨퍼런스 동료 심사위원들의 피드백을 들었을 때 반응은 엇갈렸습니다. "한 명은 긍정적이었고, 한 명은 매우 긍정적이었으며, 한 명은 '괜찮다'고 했습니다."라고 파마르가 말했습니다. 논문은 저녁 포스터 세션에서 발표할 수 있도록 승인되었습니다.

12월이 되자 논문이 화제를 불러일으키기 시작했습니다. 12월 6일에 열린 4시간 동안의 세션은 더 많은 것을 알고 싶어 하는 과학자들로 가득 찼습니다. 저자들은 목소리가 쉬어질 때까지 이야기를 나누었습니다. 세션이 끝난 밤 10시 30분이 되어도 여전히 많은 인파가 몰려들었습니다. 우슈코라이트는 "보안 요원이 나가라고 말해야 했습니다."라고 말했습니다. 그에게 가장 만족스러웠던 순간은 컴퓨터 과학자 셉 호크라이터가 와서 이 작업을 칭찬했을 때였습니다. 호크라이터는 트랜스포머가 AI 도구 상자의 선택 도구로 대체한 장단기 기억의 공동 발명가라는 점을 고려하면 대단한 칭찬이었죠.

트랜스포머가 즉시 전 세계를 장악한 것은 아니었고, 심지어 구글조차도 마찬가지였습니다. 카이저는 논문이 발표될 무렵, 샤제르는 구글 경영진에게 전체 검색 색인을 버리고 트랜스포머로 거대한 네트워크를 훈련시켜야 한다고 제안했다고 회상합니다. 정보를 구성하는 방식을 바꾸자는 것이었습니다. 당시 카이저조차도 이 아이디어가 터무니없다고 생각했습니다. 하지만 지금은 시간 문제일 뿐이라는 것이 일반적인 통념입니다.

OpenAI라는 스타트업은 이 기회를 더 빨리 포착했습니다. 논문이 발표된 직후, 구글 시절부터 트랜스포머 팀과 알고 지내던 OpenAI의 수석 연구원 일리야 수츠케버는 이 회사의 과학자 알렉스 래드포드에게 아이디어를 검토해 보라고 제안했습니다. 그 결과 최초의 GPT 제품이 탄생했습니다. OpenAI의 CEO인 샘 알트먼은 작년에 "트랜스포머 논문이 나왔을 때 구글의 어느 누구도 그 의미를 깨닫지 못했던 것 같다"고 말했습니다.

내부 상황은 더 복잡했습니다. "트랜스포머가 정말 놀라운 일을 할 수 있다는 것은 분명했습니다."라고 우즈코라이트는 말합니다. "이제 구글이 왜 2018년에 ChatGPT를 출시하지 않았냐고 반문할 수도 있겠지만, 사실 2019년이나 2020년에 3.5 버전이 출시될 수도 있었을 텐데, 진짜 문제는 그들이 그것을 보았느냐가 아닙니다. 문제는 우리가 그것을 봤다는 사실을 알면서도 왜 아무것도 하지 않았느냐는 것입니다. 답은 복잡합니다."

많은 기술 비평가들은 Google이 혁신 중심의 놀이터에서 수익성 중심의 관료주의로 변모했다고 지적합니다. 고메즈는 파이낸셜 타임즈와의 인터뷰에서 "그들은 현대화하지 않았습니다. 기술을 도입하지도 않았습니다." 하지만 수십 년 동안 업계를 선도하며 막대한 수익을 창출해 온 거대 기업에게는 엄청난 용기가 필요한 일입니다. Google은 2018년에 번역 도구부터 트랜스포머를 제품에 통합하기 시작했습니다. 같은 해에는 BERT라는 새로운 트랜스포머 기반 언어 모델을 도입하여 이듬해부터 검색에 적용하기 시작했습니다.

이름: AIDAN GOMEZ/직업: COHERE의 공동 창립자 겸 CEO

그러나 한편으로 OpenAI의 도약과 Microsoft가 트랜스듀서 기반 시스템을 제품 라인에 과감하게 통합하면서 이러한 이면의 변화는 소심해 보입니다. 작년에 CEO 순다르 피차이에게 ChatGPT처럼 대규모 언어 모델을 먼저 출시하지 않은 이유를 물었을 때, 그는 이 경우 구글은 다른 회사가 앞서 나가도록 하는 것이 유리하다고 생각했다고 주장했습니다. "지금처럼 성공할 수 있을지는 잘 모르겠습니다. 하지만 사람들이 어떻게 작동하는지 알게 되면 훨씬 더 많은 일을 할 수 있을 겁니다."라고 그는 말했습니다.

이 논문의 저자 8명이 모두 Google을 떠난 것은 부인할 수 없는 사실입니다. 폴로수킨의 회사 Near는 토큰 시가총액이 약 40억 달러에 달하는 블록체인을 구축했으며, 파마르와 바스와니는 2021년에 비즈니스 파트너가 되어 Adept(10억 달러 가치)를 공동 설립하고 현재 두 번째 회사를 운영하고 있습니다. Essential AI(800만 달러 투자)를 운영하고 있습니다.

도쿄에 본사를 둔 Llion Jones의 사카나 AI는 2억 달러의 가치를 인정받았으며, Shazeer는 2021년 10월 퇴사 후 Character AI(50억 달러 가치)를 공동 설립했습니다. 인턴인 에이단 고메즈는 2019년 토론토에 본사를 둔 Cohere(22억 달러 가치)를 공동 창업했으며, 제이콥 우스코라이트의 생명공학 회사인 인셉티브는 3억 달러의 가치를 인정받고 있습니다. 이 회사들(니어 제외)은 모두 트랜스듀서 기술을 기반으로 합니다.

이름: 루카스 카이저 / 직업: OPENAI 연구원

카이저는 유일하게 회사를 설립하지 않은 유일한 사람입니다. 그는 OpenAI에 합류하여 지난해 알트만이 "무지의 베일을 걷어내고 발견의 지평을 넓힐 것"이라고 말한 Q*라는 새로운 기술의 발명가가 되었습니다. (인터뷰에서 카이저에게 이에 대해 물어보려 하자 OpenAI의 홍보 담당자가 테이블을 가로질러 달려들어 제지할 뻔했습니다.)

구글은 탈영병이 그리울까요? 물론 회사를 떠나 새로운 AI 스타트업으로 옮긴 다른 직원들은 예외입니다. (피차이는 업계에서 사랑받는 OpenAI도 이탈자가 있었다는 사실을 상기시키며 "AI 분야는 매우 역동적"이라고 말했습니다.) 하지만 구글이 자랑할 수 있는 것은 색다른 아이디어를 추구할 수 있는 환경을 조성했다는 점입니다. 파마르는 "구글은 여러 면에서 앞서 나가고 있습니다. 올바른 인재에게 투자하고 한계를 탐구하고 한계를 뛰어넘을 수 있는 환경을 조성해 왔습니다."라고 말합니다. "채택되기까지 시간이 걸린 것은 놀라운 일이 아닙니다. 구글은 더 많은 것을 걸고 있습니다."

그러한 환경이 없었다면 트랜스포머도 없었을 것입니다. 저자들은 모두 Google 직원일 뿐만 아니라 같은 사무실에서 근무합니다. 복도에서 우연히 마주치거나 점심시간에 나누는 농담이 중요한 순간으로 이어집니다. 이 팀은 문화적으로도 다양합니다. 8명의 저자 중 6명은 미국 외 지역에서 태어났고, 나머지 2명은 일시적으로 캘리포니아에 거주하는 독일 영주권자 2명의 자녀와 박해를 피해 미국으로 이주한 1세대 미국인입니다.

우스코라이트는 베를린에 있는 자신의 사무실에서 혁신의 핵심은 올바른 조건에 있다고 말했습니다. "혁신은 인생에서 적절한 시기에 무언가에 매우 흥분하는 사람들을 모으는 것입니다."라고 그는 말합니다. "그런 조건이 갖춰져 있고, 재미있게 일하고 있으며, 올바른 문제를 해결하고 있고, 운이 좋으면 마법이 일어납니다."

우슈코라이트와 그의 유명한 아버지 사이에도 마법이 일어났습니다. 저녁 식탁에서의 수많은 논쟁 끝에, 그의 아들이 보고한 바에 따르면, 현재 한스 우슈코라이트는 대규모 언어 모델을 구축하는 회사를 공동 설립했습니다. 물론 트랜스포머를 사용합니다.