신체 지능에 대한 심층 분석 100인 지도 기술 대기업의 AI 인재 배틀

바이마르

인재와 에너지가 기술 기업들의 AI 전쟁에서 반드시 쟁취해야 하는 고지의 탑이 되고 있습니다.

"이 AI 인재 쟁탈전은 내가 본 것 중 가장 미친 인재 쟁탈전입니다!" 머스크는 직설적으로 트윗을 올렸습니다.

지난 5월 28일, 테슬라 CEO의 AI 스타트업인 xAI는 웹사이트를 통해 60억 달러를 모금해 슈퍼컴퓨터를 구축했다고 발표했는데, 머스크는 이를 "슈퍼컴퓨팅 공장"이라고 불렀습니다. 컴퓨팅 공장"이라고 불렀습니다. 물론 여기에는 더 많은 인재가 필요합니다. 머스크는 xAI가 제안을 하지 않았다면 Open AI가 그들을 데려갔을 것이라고까지 말했습니다.

미래의 모습을 정확히 예측할 수 없는 AI라는 큰 모델을 놓고 벌이는 이 전쟁에서 신뢰할 수 있는 팀에 투자하는 것은 투자 회사에게 가장 강력한 보장책임이 분명합니다. 인재 확보 전쟁이 격화되는 중요한 이유이기도 합니다.

그러나 "정말 좋은 인재는 적극적으로 구직 활동을 하지 않는 경우가 많기 때문에 직접 나가서 마음에 드는 인재를 낚아야 합니다." OpenAI의 설립자 Sam Altman은 이전 게시물에서 이 점을 언급했습니다.

정보 격차는 인재 확보 전쟁의 승패를 가르는 요인입니다.

우리의 첫 번째 인재 지도는 거대 기술 기업들이 큰 베팅을 하고 있는 분야인 구현형 지능에 초점을 맞추고 있습니다.

이 AI 전쟁의 미래를 예측할 수 없다면, 구현형 지능이 궁극적인 형태 중 하나가 될 수 있습니다. NVIDIA의 CEO 젠슨 황은 다음 AI의 물결은 구현형 지능이 될 것이라고 말하기도 했습니다.

실리콘 래빗은 미국의 대기업인 구글과 엔비디아의 구현형 지능 인재 매핑과 중국의 거물들이 창업이나 투자를 희망할 수 있는 두 AI 황푸 군사 학교를 샅샅이 훑어보려고 합니다. 독자들은 지도를 따라가 보세요.

"1"구글과 엔비디아의 구현 지능 논문 및 프로젝트에 초점을 맞춘 업계 리더는 총 114명으로, 구글이 전체의 60%, 엔비디아가 40%를 차지하며, 남성(90%)이 많고 여성(10%)은 적습니다.

"2"펠로우의 학력 수준은 국립과학원 회원과 비슷한 수준이며, 펠로우의 59%가 고위급에 속합니다.

"3"펠로우의 78%가 박사학위를 최고 학력으로 보유하고 있으며, 18%는 대학원, 4%만이 학부 학위를 보유하고 있습니다.

"4"중국인은 Google과 NVIDIA의 신체 지능 연구원 중 약 27%를 차지합니다.

"5"스탠포드는 구글과 엔비디아에 가장 많은 신체 지능 거물급 인재를 파견하고 있으며, 그다음으로 CMU와 MIT가 세 학교 모두 인재의 약 1/3을 파견하고 있습니다.

중국계 미국인 거물들의 데이터와 약력에 대한 자세한 분석은 아래를 참조하세요.

"1"

Google과 NVIDIA의 구현 지능 연구에 참여한 연구자는 총 248명으로, Google Scholar에 프로필이 없는 연구자 62명을 제외하면 총 248명이 참여했습니다. 구글 스칼라에 프로파일링되지 않은 62명의 연구자를 제외한 총 248명의 연구자가 구글과 엔비디아의 구현형 인텔리전스 연구에 참여했으며, 업계에서 60%, 학계에서 40%의 비율로 186명의 연구자가 참여했습니다.

구체적으로 말하면, Google은 독립적인 연구 역량이 더 강하며, NVIDIA는 여러 최고 학교의 연구 자원을 활용합니다. 엔비디아의 로봇 연구에 참여한 대학 연구원 수는 45명으로 절반(51%)에 달하지만, 구글의 경우 3분의 1 미만(27명, 28%)에 불과합니다.

"2"

업계의 인재를 살펴보면, Google과 NVIDIA의 114명의 연구원 중 약 90%가 남성, 약 27%가 중국인, 약 78%가 박사 학위를 보유하고 있는 것으로 나타났습니다. 박사 학위 소지자가 약 78%를 차지합니다.

성비와 인종 측면에서 구글과 엔비디아는 업계에서 가장 중요한 두 회사입니다. 구글과 엔비디아는 성비와 인종 측면에서 약간의 차이가 있는데, 구글은 여성 과학자가 11명인 반면 엔비디아는 2명에 불과해 여성 친화적인 것으로 나타났습니다.

NVIDIA는 중국계 비율이 40%로 구글의 20%에 비해 훨씬 높습니다.

"3"

스탠포드가 구글과 엔비디아에 가장 많은 신체 지능 거물을 배출했고, CMU와 MIT가 그 뒤를 이어 세 학교가 배출한 인재는 다음과 같습니다. 약 1/3의 인재를 배출했습니다.

114명의 펠로우들은 총 51개 대학에서 최고 학위를 취득했습니다. 이 중 스탠퍼드가 16명, 카네기멜론이 14명, MIT가 7명으로 약 3분의 1을 차지했고, 다른 학교는 대부분 한 명에 불과했습니다.

연구자 대다수가 미국 기관 출신이지만, 유럽에서도 영국 런던의 임페리얼 칼리지 오브 사이언스 앤 테크놀로지와 옥스퍼드 대학교, 이 두 학교에서 총 8명의 연구자를 배출하는 등 구현 지능 분야에서 큰 영향력을 발휘한 학교가 두 곳이나 있습니다. 옥스퍼드 대학교는 딥러닝 분야에서 풍부한 경험을 축적해 왔으며, 구글은 딥마인드를 인수하면서 옥스퍼드 대학교와 파트너십을 맺고 딥러닝 분야의 전문가를 영입했습니다. 예를 들어, 알파고의 개발팀에는 현직 옥스퍼드 교수 3명과 전직 옥스퍼드 연구원 4명이 포함되어 있습니다.

"4"

업계 연구원의 8%는 학술적으로 미국 국립과학원 회원과 비슷한 수준이며, 업계 연구원의 59%는 고위급 그룹에 속합니다. Google 펠로우의 학문적 역량은 NVIDIA에 비해 더 뛰어납니다.

우리는 인용 횟수 및 "h" 지수를 사용하여 학문적 우수성을 측정합니다. "h" 지수는 최소 동일한 피인용 횟수(h)를 가진 저자의 출판물 중 가장 많은 횟수를 의미합니다. 예를 들어, 어떤 사람의 h 지수가 20이라면 그 사람이 각각 20회 이상 인용된 20개의 논문을 발표했음을 의미합니다.

일반적으로 h-지수가 10 이상이면 높은 것으로 간주하고, h-지수가 18이면 높은 것으로 간주하며, 국립과학원 회원이 되기 위한 일반적인 요건은 45 이상입니다.

이러한 114명의 기업 연구원들의 h-지수를 보면 89%가 10 이상, 59%가 18 이상, 8%가 45 이상의 h-지수를 가지고 있는 등 상당히 우수한 연구자임을 알 수 있습니다.

구글과 NVIDIA의 학력 수준을 추가로 비교한 결과, 구글 연구원들의 영향력이 엔비디아보다 훨씬 더 큰 것으로 나타났습니다. 예를 들어, 이 데이터 세트에서 Google 기업 연구원의 평균 피인용 횟수와 평균 h-지수는 12,596회와 23인 반면, NVIDIA는 6,418회와 21입니다.

"5"

"5"

구글과 NVIDIA는 각각 10명 중 1명의 임베디드 인텔리전스 연구원이 다른 회사로 이직하고 있습니다.

구글의 경우 70명 중 10%인 7명이 떠났습니다. 현재 NVIDIA, Apple, Tesla, 1x, OpenAI, Figure AI 등에 근무하고 있으며, 전체적으로 구글을 떠난 인재의 수는 적고 대다수가 구글 딥마인드에서 근무하고 있습니다.

그 중 Scott Reed는 2016년 Google 딥마인드에 합류하여 제어 및 생성 모델링을 담당한 후 GEAR 팀의 수석 연구 과학자로 NVIDIA에 합류했습니다.

주: Google의 퇴사하는 연구원 및 이들의 행선지

Nicol
아스 히스

딥마인드 연구 과학자.

에든버러 대학교에서 신경정보학 및 컴퓨터 신경과학 박사 과정을 공부하던 2011년 "외형과 모양을 고려한 이미지 생성 모델 학습"이라는 논문을 발표했습니다. 에든버러 대학교에서 신경정보학 및 컴퓨터 신경과학으로 박사 학위를 받았으며, 이후 딥마인드에서 근무하고 있습니다.

초기에는 머신 비전, 머신 러닝, 그래픽/증강 현실/게임에 중점을 두고 연구했으며 현재 UCL의 컴퓨팅학과 명예 교수로 재직하고 있습니다.

논문 224편 게재 , Google Scholar h-index 65, 48,917회 인용.

마틴 리드밀러

딥마인드 연구 과학자.

1986년부터 1996년까지 독일 칼스루에 대학교(현 칼스루에 공과대학)에서 컴퓨터 공학을 전공하고 박사 학위를 받았습니다. 졸업 후에는 학계에서 학생들을 가르치면서 자신의 사업을 시작했습니다.

2002년부터 2015년까지 도르트문트 대학교, 오스나브루크 대학교, 프라이부르크 대학교에서 교수로 재직하며 머신러닝 연구소를 이끌었습니다. 2010~2015년 독일 바덴에 기계 학습 연구소를 설립했습니다.

2015년 구글 딥마인드에 정규직으로 입사했습니다.

연구 분야는 인공 지능, 신경망, 강화 학습 등이며, 약 188편의 논문을 발표했고 Google Scholar h-지수는 59, 인용 횟수는 84,113회입니다.

Vikas Sindhwani

로봇공학의 계획, 지각, 학습, 제어 분야의 문제 해결에 중점을 둔 연구 그룹을 이끄는 Google 딥마인드 연구 과학자.

시카고 대학교에서 컴퓨터 과학 박사 학위를, 봄베이 인도 공과대학(IIT)에서 공학 물리학 학사 학위를 받았습니다.

2008년부터 2015년까지 IBM T.J. 왓슨 리서치 센터 뉴욕에서 머신러닝 그룹을 담당했으며, 2015년에 구글 딥마인드에 입사하여 현재까지 근무하고 있습니다.

머신러닝 연구 트랜잭션(TMLR) 및 IEEE 패턴 분석 및 기계 지능 트랜잭션의 편집 위원으로 활동하고 있으며, NeurIPS, 국제 학습 표현 컨퍼런스(ICLR), 지식 발견 및 데이터 마이닝(KDD!)의 도메인 의장 및 선임 프로그램 위원으로 활동하고 있습니다. .

연구 관심 분야는 통계적 기계 학습의 핵심 수학적 기초부터 대규모의 안전하고 건강한 AI 시스템 구축을 위한 엔드투엔드 설계에 이르기까지 광범위합니다.

인공지능의 불확실성(UAI-2013) 최우수 논문상 및 2014년 IBM 팻 골드버그 기념상 수상, ICRA-2022 저명한 계획 논문상 및 ICRA-2024 로봇 운영 최우수 논문상 최종 후보에 올랐습니다.

약 137편의 논문을 발표했으며, Google Scholar h-인덱스는 52이고 인용 횟수는 17,150회입니다.

빈센트 반호크

구글 딥마인드 저명한 과학자이자 로봇공학 수석 디렉터로 16년 이상 구글에서 근무했습니다.

스탠포드 대학교에서 전기공학 박사 학위(1999-2003)를, 파리 에콜에서 엔지니어 학위를 취득했습니다.

구글 브레인에서 시각 및 지각 연구를 이끌었으며 구글 음성 검색의 음성 인식 품질 팀을 담당했습니다. 로봇 학습 컨퍼런스를 공동 창립했습니다.

분산 시스템 및 병렬 컴퓨팅, 기계 지능, 기계 인식, 로봇 공학, 음성 처리 등 광범위한 분야를 연구합니다. 약 64편의 논문을 발표했으며, 구글 학술지 h-인덱스는 50이고 피인용 횟수는 165,519회입니다.

라이아 하셀

연구 및 로봇공학 부문 수석 이사, DeepMind 연구 부사장

2014년 입사하여 현재에 이르렀습니다.

리드 대학에서 종교 및 철학 학사 학위 취득(1990-1994) 후, 뉴욕대학교에서 얀 르쿤과 박사 과정 연구(2003-2008)를 마쳤으며 연결 신경망(오늘날 흔히 '삼원 손실'이라고 부르는 "삼차 손실"), 얼굴 인식 알고리즘, 딥러닝을 활용한 모바일 로봇 공학 연구에 집중했습니다. "오프로드 로봇을 위한 장거리 비전 학습"이라는 논문으로 2009년 우수 논문상을 수상했습니다.

카네기멜론대학교 로봇공학연구소에서 박사 후 연구원으로 Drew Bagnell, Martial Hebert와 함께 일한 후 뉴저지주 프린스턴에 있는 SRI International의 비전 및 로봇 그룹에서 연구 과학자로 근무(2009-2014년)했습니다.

딥마인드에 합류한 이후에는 연속 및 전이 학습, 로봇 공학 및 제어 문제를 위한 심층 강화 학습, 내비게이션의 신경 모델 등 인공 일반 지능의 근본적인 과제에 대한 연구에 집중했습니다. 새로운 오픈 액세스 저널인 TMLR의 창립자이자 편집장이며, CoRL의 집행위원회 위원, 유럽 학습 시스템 연구소(ELLIS)의 회원, NAISys(신경과학 및 인공 지능 시스템)의 창립 조직자 중 한 명입니다. 그는 CIFAR의 고문으로 활동하고 있으며 WiML(여성 기계 학습자)의 집행위원회 위원이기도 합니다.

논문 107편 게재, Google Scholar h-index 45, 36,265회 인용.

Nikhil J Joshi

정보 제한, 인도 인도공과대학(IIT)에서 물리학 석사 학위, 인도 타타 기초연구소에서 분자 물리학 박사 학위를 받았습니다. 2017년 소프트웨어 개발자로 구글 브레인에 입사했으며, 그 전에는 다양한 회사에서 근무했습니다. 구글 학자 h-인덱스가 45이며 8320회 인용되었습니다.

NVIDIA

Stan Birchfield

NVIDIA의 수석 연구 과학자 겸 수석 연구 매니저.

2016년에 입사한 그는 학습, 인식, AI 매개 현실 및 상호 작용을 포함한 컴퓨터 비전과 로봇 공학의 교차점에 중점을 두고 연구하고 있습니다.

1999년 스탠포드 대학교에서 컴퓨터 공학을 부전공하고 전기 공학 박사 학위를 받았습니다.

졸업 후 베이 지역의 스타트업인 Quindi Corporation에 입사하여 지능형 디지털 오디오 및 비디오 알고리즘을 개발하는 연구 엔지니어로 근무했습니다.

2013년부터 2016년까지 Microsoft에 입사하여 컴퓨터 비전 및 로봇 공학 애플리케이션과 지상 실측 내비게이션 시스템 개발을 담당하고 자동 카메라 전환 개발을 주도했습니다.

Google Scholar h-index 56, 14,315회 인용됨.

"7"

업계의 중국계 미국인 거물

이 114명의 기업 연구원들

114명의 기업 연구원 중에는 중국계가 31명 포함되어 있으며, 이중 구글에서 4명, 엔비디아에서 6명, 오픈AI와 1x에서 각각 1명 등 12명의 리더가 눈에 띕니다. align:center">

구글 딥마인드 수석 연구 과학자.

2016년 칭화대학교를 졸업하고 2021년 스탠포드대학교에서 전기공학 박사 학위를 받았습니다.

박사 과정 중에는 NVIDIA에서 Dieter Fox, Google에서 Alexander Toshev, Brian Ichter와 함께 연구 인턴십을 했습니다. 스탠포드에서 박사 학위를 마친 후 2021년 가을에 Google의 로봇 공학 팀에 합류했습니다.

연구 관심 분야는 대규모 및 전송 가능한 로봇 시뮬레이션, 장기 작업을 위한 학습 알고리즘, 환경의 기하학적 및 의미론적 표현의 조합 등입니다. 최근의 연구 방향은 지능의 의사 결정 과정에서 기초 모델을 사용하는 것입니다.

학술적 성과로는 ICRA 2023에서 5편의 논문이 채택되었고, CoRL 2022에서 4편의 논문이 채택되었습니다.

대표 연구에는 GibsonEnv, iGibson, SayCan 등이 포함됩니다. iGibson은 로봇 학습을 위한 대규모 대화형 환경을 개발하고 로봇 제어 전략에 모방 학습과 모델 예측 제어(MPC)를 결합하여 사용하고 있습니다. 학자 h-인덱스는 33이고 인용 횟수는 12478입니다.

Andy Zeng

구글 딥마인드 수석 연구 과학자.

UC 버클리에서 컴퓨터 과학과 수학을 복수 전공하고 프린스턴 대학교에서 컴퓨터 과학 박사 학위를 취득했으며 박사 졸업 후 2019년에 Google Brain에 입사하여 머신러닝, 비전, 언어, 로봇 공학 분야에서 일하고 있습니다.

로봇 학습, 기계가 지능적으로 세상과 상호 작용하고 시간이 지남에 따라 스스로 개선할 수 있도록 하는 연구 분야에 관심이 있습니다.

학술적 성과로는 ICRA, CVPR, CoRL 등 다양한 컨퍼런스에서 발표한 논문이 있습니다.

중요 프로젝트 참여에는 PaLM-E가 포함됩니다.

Google Scholar h-index는 32이고 인용 횟수는 12207입니다.

Tianhe Yu

구글 딥마인드 연구 과학자.

2017년 UC 버클리에서 컴퓨터 과학, 응용 수학, 통계학 분야에서 최고 우등으로 학사 학위를, 2022년 스탠포드 대학에서 첼시 핀(Chelsea Finn)의 지도하에 컴퓨터 과학 박사 학위를 취득했습니다.

2022년 박사학위 취득 후 Google Brain에 입사하여 머신러닝, 비전, 언어, 로보틱스 분야를 연구하고 있습니다.

연구 관심 분야는 머신러닝, 인식, 제어, 특히 오프라인 강화 학습(즉, 정적 데이터 세트에서 학습), 멀티태스킹 및 메타 학습입니다. 최근에는 의사 결정 문제에서 기본 모델을 사용하는 방법을 연구하고 있습니다.

학술적 성과로는 ICRA, CVPR, CoRL 등 다양한 컨퍼런스에서 발표한 논문이 있습니다.

중요 프로젝트 참여에는 PaLM-E가 포함됩니다.

Google Scholar h-index는 25이고 인용 횟수는 7726입니다.

유샹 저우

구글 딥마인드 수석 연구 엔지니어.

2010년부터 2018년까지 영국 임페리얼 칼리지 런던에서 스테파노스 자페리우 교수의 지도 아래 컴퓨터 공학 석사 및 박사 학위를 취득했습니다.

2017년 9월부터 2018년 3월까지 구글 브레인 & amp; 딥마인드에서 심층 강화 학습 및 로봇공학 연구 인턴십을 거쳐 2018년 12월 구글 딥마인드에 연구 엔지니어로 입사했습니다.

솔루션 로보틱스, 3인칭 모방 학습, 통계적 변형 모델을 사용한 고밀도 형상 연구 등이 연구 주제입니다.

Google Scholar h-index는 17이고 인용 횟수는 3099입니다.

NVIDIA

린시 팬

스탠포드 대학교 비전 랩에서 페이 페이 리 교수의 지도 아래 박사 학위를 받았습니다.

OpenAI(일리야 수츠케버, 안드레이 카르파티와 함께), Baidu AI Lab(앤드류 응, 다리오 아모데이와 함께), MILA(요슈아 벤지오와 함께)에서 인턴으로 근무했습니다.

멀티모달 기본 모델, 강화 학습, 컴퓨터 비전 및 대규모 시스템의 경계를 탐구하는 연구입니다.

최초로 마인크래프트를 능숙하게 플레이하고 그 기능을 지속적으로 안내하는 AI 인텔리전스인 보이저를 개발했으며, 10만 개의 마인크래프트 유튜브 동영상을 시청하며 학습하는 개방형 인공지능인 마인도조(MineDojo)를 개발했습니다, Eureka(펜 회전과 같은 매우 민첩한 작업을 수행하는 다섯 손가락 로봇 손), VIMA(로봇 조작의 초기 멀티모달 기본 모델 중 하나)를 학습한 MineDojo는 NeurIPS 2022에서 우수 논문상을 수상했습니다.

Google Scholar h-index는 18, 인용 횟수는 5619입니다.

Chen-Hsuan Lin

style="text-align:가운데">

NVIDIA의 선임 연구 과학자.

국립 대만 대학교에서 전기 공학 학사 학위. 카네기멜론대학교에서 사이먼 루시의 지도 아래 NVIDIA 대학원 펠로우십의 지원을 받아 로봇 공학 박사 학위를 취득했습니다.

페이스북 AI 연구 및 Adobe 연구소에서 인턴으로 근무했습니다.

컴퓨터 비전, 컴퓨터 그래픽 및 제너레이티브 AI 애플리케이션에 전념하고 있습니다. 3D 재구성, 신경 렌더링, 제너레이티브 모델링 등 3D 콘텐츠 제작과 관련된 문제 해결에 관심이 많습니다.

연구는 타임지의 2023년 최고 발명상을 수상했습니다.

Google Scholar h-index는 15, 인용 횟수는 2752입니다.

De-An Huang

컴퓨터 비전 전문 엔비디아 리서치 사이언티스트, 로봇 공학, 머신 러닝, 생물 정보학을 전문으로 합니다.

스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았으며, Fei-Fei Li와 Juan Carlos Niebuhr의 지도를 받았습니다. 카네기멜론대학교에서 석사 학위를 받는 동안 크리스 키타니와 함께 일했고, 국립대만대학교에서 학부 과정을 밟는 동안 유-치앙 프랭크 왕과 함께 일했습니다.

디터 폭스의 NVIDIA 시애틀 로보틱스 랩, 비네쉬 라마나탄과 드루브 마하잔의 Facebook 응용 머신러닝, 지청 류의 Microsoft 레드몬드 연구소, 디즈니 피츠버그 연구소의 일원이었습니다. Microsoft 레드몬드 연구소의 Liu와 피츠버그 디즈니 연구소의 레오니드 시갈이 인턴으로 근무하고 있습니다.

Google Scholar h-index는 32, 인용 횟수는 4848입니다.

Kaichun Mo

style="text-align:가운데">

엔비디아가 이끄는 시애틀 로봇 연구소의 디터 폭스(Dieter Fox) 교수 는 시애틀 로보틱스 랩의 연구 과학자들을 이끌고 있습니다.

레오니다스 J. 기바스 교수의 지도 아래 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았습니다. 스탠포드 기하학 컴퓨팅 그룹 및 인공 지능 연구소에 소속되어 있었습니다. 2016년 스탠포드에 입사하기 전에는 상하이 자오퉁 대학교에서 ACM 컴퓨터 과학 학사 학위를 받았습니다(참고: 상하이 ACM 아너스 클래스는 박사 학위 취득률 92%, ACM 국제 대학생 프로그래밍 콘테스트 3회 우승, 640명의 컴퓨터 '두뇌'를 양성했습니다). 3.96/4.30(1/33위).

전공 분야는 3D 컴퓨터 비전, 그래픽, 로봇 공학, 3D 딥러닝이며 특히 객체 중심 3D 딥러닝과 3D 데이터를 위한 구조화된 시각 표현 학습에 중점을 두고 있습니다.

Google Scholar h-index는 20이고 인용 횟수는 17654입니다.

Xinshuo Weng

style="text-align:가운데">

NVIDIA 연구 과학자, Marco. Pavone.

카네기 멜론 대학교에서 크리스 키타니와 함께 로봇 공학 박사(2018~2022년)와 컴퓨터 비전 석사(2016~2017년)를 받았습니다. 그녀의 학사 학위는 우한대학교에서 취득했습니다.

또한, Facebook의 Reality Lab에서 연구 엔지니어로 일하며 "몰입형 텔레프레즌스" 구축에 기여하고 있습니다.

연구 관심 분야는 자율 시스템의 제너레이티브 모델링과 3D 컴퓨터 비전입니다. 목표물 감지, 다중 객체 추적, 재식별, 궤적 예측 및 모션 계획과 같은 작업을 다룹니다. 3D 다중 객체 추적 시스템(예: AB3DMOT)을 개발하여 GitHub에서 1,300개의 별을 받았습니다.

Google Scholar h-index는 23이고 인용 횟수는 3472입니다.

. 왼쪽;">지딩유(禹之鼎)

수석 연구 과학자 겸 NVIDIA 머신 러닝 연구 그룹 책임자.

2017년 카네기멜론 대학교에서 전기 및 컴퓨터 공학 박사 학위를, 2012년 홍콩과학기술대학교에서 전기 및 컴퓨터 공학 석사 학위를 받았습니다. 2008년에는 남중국공과대학교에서 공동 전기공학(빙취안펑 실험반) 학사 학위를 받았습니다.

연구 관심 분야는 심층 표현 학습, 약지도/반지도 학습, 전이 학습, 심층 구조 예측과 비전 및 로봇 공학 문제에 대한 응용 분야입니다.

WAD 챌린지@CVPR18의 도메인 적응적 의미 분할 트랙 우승자. WACV15에서 최우수 논문상 수상.

Google Scholar h-index는 42, 인용 횟수는 17064입니다.

OpenAI

멍위안 옌

기술자.

2014년 북경대학교에서 물리학 학사, 2020년 스탠포드대학교에서 전기 및 전자공학 박사 학위를 취득했습니다.

스탠포드 AI 연구소의 대화형 지각 및 로봇 학습 연구실(IPRL) 소속으로 Jeannette Bohg와 Leonidas Guibas의 멘토링을 받고 있습니다.

연구 분야는 컴퓨터 비전, 머신러닝, 로봇 공학, 제너레이티브 모델링 등입니다.

논문은 28편이며, Google 학자 h-인덱스는 15이고 인용 횟수는 4,664회입니다.

1X & nbsp;Technologies

Eric Jang

AI 부사장.

2016년 브라운 대학교에서 컴퓨터 과학 전공으로 석사 학위를 취득했습니다.

2016년부터 2022년까지 Google에서 로봇공학 수석 연구 과학자로 근무했으며,

머신러닝 원리를 로봇공학 분야에 적용하는 데 중점을 두고 다음과 같은 연구를 수행했습니다. 로봇 운영팀과 에브리데이 로봇(TensorFlow 1이 더 이상 사용되지 않을 때까지)에서 사용하는 ML 프레임워크인 Tensor2Robot을 개발했으며, SayCan을 제작한 Brain Moonshot 팀의 공동 리더였습니다.

. 2022년 4월 구글 로보틱스를 떠나 1X Technologies(구 Halodi Robotics)에 합류하여 엔드투엔드 신경망을 통한 휴머노이드 로봇 EVE의 자율성 개발이라는 두 가지 중요한 과제를 이끌었습니다.

7편의 논문의 제1저자, 15편 이상의 공동 저자, 구글 학자 h-인덱스 23, 11,213회 인용, 인공지능의 역사와 미래에 관한 저서 'AI는 당신에게 좋은 것'의 저자입니다.

"8"

집중 연구 논문과 실험 프로젝트를 통해 구글과 엔비디아에서 구현형 인텔리전스 인재를 양성하고 있습니다.

Google은 근본적인 모델링에 중점을 두고 있으며, 구현형 인텔리전스 인재와 관련된 주요 연구 논문은 다음과 같습니다.

SayCan: 높은 수준의 작업을 실행 가능한 작업으로 분해하는 능력입니다. 높은 수준의 작업을 실행 가능한 하위 작업으로 분해하는 능력.

Gato: 멀티모달 데이터를 Transformer 아키텍처로 토큰화합니다.

RT-1: 로봇 궤적 데이터를 트랜스포머 아키텍처에 입력하여 개별 작업 토큰을 얻습니다.

PaLM-E: PaLM 일반 모델을 기반으로 구축하여 멀티모달 성능을 더욱 향상시킵니다.

RoboCat: 멀티모달 모델 Gato를 로봇 데이터세트와 결합하여 RoboCat은 시뮬레이션 환경과 실제 환경 모두에서 음성, 이미지, 동작 등의 작업을 처리할 수 있는 기능을 제공합니다.

RT-2: RT-1 모델과 PaLM-E 모델을 결합하여 로봇 모델을 VLM에서 VLA로 발전시킨 모델입니다.

RT-X: 원래 아키텍처는 유지하지만 구현 지능의 5가지 기능을 종합적으로 향상시켰습니다. 다섯 가지 기능 중

위 모델은 자율적이고 신뢰할 수 있는 의사 결정, 다중 모드 감지, 실시간 정밀 작동 및 제어 기능의 조합을 점진적으로 실현하는 동시에 일반화 능력과 연쇄적 능력을 입증합니다.

위 연구 논문을 종합하면 총 143명의 Google 연구원이 참여했습니다. ‍‍‍‍‍‍‍‍‍‍‍‍‍ ‍‍

NVIDIA는 시뮬레이션 기반 교육에 중점을 두고 있으며, 다음과 같은 구현형 인텔리전스 인재와 관련된 실험 프로젝트를 진행하고 있습니다.

Eureka: 대규모 언어 모델을 사용한 강화 학습을 위한 보상 메커니즘 설계

Voyager: 오픈 월드에서 대규모 언어 모델을 사용한 인텔리전스 구동

MimicPlay: 인간의 행동을 관찰하여 장거리 모방 학습

VIMA: 범용 로봇 작업을 위한 멀티모달 명령 조작

민도조: 인터넷 규모의 데이터로 개방형 구현형 지능 구축

또한 엔비디아는 2024년 구현 지능에 집중하고 있으며, 멀티모달 기반 모델, 제너럴리스트 로봇 연구, 가상 세계, 기본 지능, 시뮬레이션 및 합성 데이터에 집중할 GEAR(Generalist Embodied Agent Research) 랩을 설립한다고 발표했습니다. GEAR(제너럴리스트 구현 에이전트 연구) 랩은 멀티모달 기본 모델, 제너럴리스트 로봇 연구, 가상 세계의 기본 지능, 시뮬레이션 및 합성 데이터 기술 등 네 가지 핵심 분야에 중점을 두고 있습니다.

이 기사에서는 먼저 위에서 언급한 구글 핵심 프로젝트 논문 중 총 7편의 논문을 정리했으며, 각 논문에는 프로젝트 연구자를 상세히 나열하고 구체적인 연구 내용을 명확하게 발표하고 있습니다.

엔비디아의 연구 페이지에는 총 54명이 로보틱스 프로젝트에 참여하고 있으며, GEAR에서 발표한 논문의 저자를 모두 고려하면 총 105명의 구현 지능 연구자가 정리되었습니다.

부록: 구글, 엔비디아 구현 지능 100인 목록