만물의 신비를 해독하려던 한 남자는 무거운 십자가를 짊어지게 되었고, 무덤에 묻힐 때까지 그 짐을 벗지 못했습니다.

우주의 잔인한 농담입니다.

1947년 겨울, 런던 남서부의 윔블던에서 제프리 힌튼이라는 어린 소년이 울부짖었습니다.

힌턴과 아인슈타인을 가까이서 보면 둘 다 노벨 물리학상을 받았다는 사실 외에는 공통점을 찾을 수 없습니다.

102년 차이가 납니다.

그러나 한 걸음 물러서서 절벽 너머를 바라보면 여러 세대에 걸쳐 돌아갔던 역사의 톱니바퀴가 102년이라는 긴 행진 끝에 다시 맞물려 돌아가고 있다는 사실에 놀랄지도 모릅니다. 톱니바퀴가 맞물리는 그 순간, 둘은 서로 가까이 있습니다.

역사와 역사가 만나고, 큰 소리로 침묵이 흘렀습니다.

사람들이 고개를 들어보니 평소와 다름없는 일상입니다.

(i) 생명과 기계&

우리는 생물학적 방식으로 만들어진 기계일 뿐입니다.

힌튼이 말했습니다.

일반 사람들은 자신이 어떤 존재인지에 대해서는 관심이 없고 고귀한 존재라는 사실에만 관심이 있습니다.

기계는 고귀하지 않습니다.

코페르니쿠스는 우리를 우주의 중심에서 몰아냈고, 다윈은 우리를 동물의 평원으로 몰아냈으며, 니체는 어떤 신도 우리에게 목축을 약속한 적이 없다고 선언했고, 알베르 카뮈는 가장 힘든 삶은 시시페적인 삶이라고 말했습니다.

싱턴은 이미 피투성이가 된 인류의 자존심에 날카로운 '진실'을 더했을 뿐입니다.

Geoffrey. Hinton

지난 10년 동안, 특별히 춥지 않은 날에는 힌튼은 자신의 섬에서 살았습니다.

바로 캐나다 휴런 호숫가에 점점이 떠 있는 그의 섬으로, '인공 지능의 대부'라는 낭만적인 개념에 완벽하게 어울리는 섬입니다.

그는 65세에 이 섬을 구입했습니다. 그는 65세 이전에 그렇게 호화롭게 '소비'할 수 있을 거라고는 상상도 못했습니다.

30년 전만 해도 힌튼은 컴퓨터 공학 교수에 불과했습니다.

이제 그가 한 일을 "인공 지능"이라고 부르는 것은 자연스러운 일이 되었습니다. 하지만 시계를 1970년대로 돌리면, 인공지능은 환상적이고 미친 사람만이 뛰어들고 싶어 하는 차가운 주제였습니다.

연구자 자신도 "인공 지능"이라는 용어가 너무 거창하다고 생각했고, 일반적으로 자신들이 하는 일을 "기계 학습"이라고 불렀습니다.

그리고 Hinton이 연구하는 것은 머신 러닝의 더 멋진 측면인 신경망입니다.

단순히 말해, 컴퓨터를 사용하여 인간의 뇌에 있는 수십억 개의 신경세포 연결을 시뮬레이션하여 '지능'을 생성하는 것입니다.

그러나 어떻게? 모르겠습니다.

장거리 전화가 유선으로 연결되고 컴퓨터가 막 소형화되기 시작했으며 종이 지도가 집 밖으로 나가는 유일한 방법이었던 Lo-Fi 시대에는 인공 뉴런에 대한 이야기가 꿈처럼 들리기도 했습니다.

1970년 뉴욕.

1970년대의 IBM 시스템 3 컴퓨터.

1971년, 인류 최초의 대규모 집적 회로 프로세서인 인텔 4004가 탄생했습니다.

1972년 에든버러 대학교에서 신경망 박사 과정을 밟던 힌튼에게 지도 교수는 매주 "시간 낭비하고 있잖아! 시간 낭비하고 있잖아!"

방관자들은 누군가가 인생에서 가장 중요한 1만 시간의 밤낮을 이런 종류의 말도 안 되는 일에 보내는 데 무엇이 필요한지 궁금해할 정도였습니다.

그 힘은 나무에서 나올 수도 있습니다.

그의 가계도.

힌튼의 외증조부는 부울 대수를 발명하고 컴퓨터의 수학적 토대를 마련한 조지 불(George Boole)입니다.

조지 불

1815-1864 strong>

불의 아내의 삼촌은 에베레스트 산의 이름을 딴 성을 가진 지리학자였습니다.

조지 에베레스트

1790-1866<

힌튼의 외증조모인 불의 딸 중 한 명인 에기디엘 릴리안 보이니히(Egidiel Lillian Voynich)가 <개똥벌레>의 저자였습니다(보이니히는 결혼 후 개명한 결혼 이름입니다)

Ethel Lilian Voynich

1864-1960

싱톤의 증조부인 찰스 하워드 슁턴은 스타트렉 영화의 이름인 '4차원 큐브'를 발명한 수학자이자 판타지 작가였습니다. 스타트렉에서 볼 수 있는 4차원 공간입니다.

찰스 하워드 힌튼

1853-1907

Hinton의 의 사촌은 휴대용 엑스레이 기계를 발명했고, 힌튼의 사촌은 원자폭탄 개발을 위한 맨해튼 프로젝트에 참여했으며, 힌튼의 아버지인 하워드 힌튼은 곤충학자이자 왕립학회 회원이었습니다.

가족의 영광을 기리기 위해 제프리 힌튼의 중간 이름도 에베레스트 산을 뜻하는 에베레스트를 따서 지었습니다.

이런 유복한 가문의 그늘에서 자란 아이는 훗날 이름을 날리더라도, 노벨상을 받더라도 옆에서 지켜보는 사람들이 입술을 흘기며 "이 사람"이라고 말할 정도로 두려움만 느낄 것입니다. 원래 이래야 하는 거야"라고 말하지 않을까요?

어렸을 때 이미 억압은 존재했습니다.

그의 아버지는 한 손으로 턱걸이를 하는 남자에게 손가락으로 가리키며 "네가 나보다 두 배 더 열심히 일하고 나보다 두 배 더 나이가 들면, 넌 나보다 반만 잘할 수 있을 거야."

그의 아버지는 왜소한 남자에게 손가락으로 가리키며 "네가 나보다 두 배 더 열심히 일하고 나보다 나이가 들면 나보다 반만 잘할 수 있을 거야."라고 말했죠.

그의 어머니는 "네 앞에는 교수가 되거나 루저가 되는 두 가지 길이 있다"며 훨씬 더 친절하게 말해주었습니다.

그의 현실 도피처는 몰래 세상을 관찰하는 것입니다.

4살 때 힌튼은 엄마와 함께 버스를 타고 여행 중이었습니다. 동전 하나를 꺼내 벨벳 시트 커버에 올려놓았는데 이상한 일이 일어났습니다.

동전이 아래로 미끄러지는 대신 중력을 거슬러 위로 올라갔습니다.

이 사건은 10년간 그의 머릿속에 남아 있었는데, 10대가 되자 버스의 진동 패턴이 동전을 위로 밀어 올렸고 벨벳 시트 커버의 섬유가 동전이 아래로 미끄러지는 것을 막았다는 사실을 깨닫게 되었습니다.

어떤 사람들은 그가 이해하지 못하는 것을 솔직히 받아들일 수 있습니다. 하지만 저는 세상에 대한 저의 인지 모델에 어긋나는 것을 받아들이지 못합니다.

힌튼은 나중에 회상했습니다.

생물학자였던 힌튼의 아버지는 집에 '동물원'을 가지고 있었습니다. 방에는 미어캣, 차고의 구덩이에는 뱀, 개구리, 도마뱀, 중국에서 가져온 물속에는 거북이가 있었습니다.

싱턴은 생명이 환경과 어떻게 상호작용하는지를 관찰하는 데 많은 시간을 보냅니다.

8세 힌튼이 동물원에서 비단뱀과 함께 사진을 찍기 위해 포즈를 취하고 있습니다. 동물원에서 비단뱀과 함께.

그는 환경에 대한 생명체의 반응 패턴이 완전히 무작위적인 것이 아니라 일종의 "직관"에 따른다는 것을 어렴풋이 깨닫게 됩니다.

이 직관은 수학 공식처럼 단순하지도 않고, 종교적으로 선포된 '영혼'처럼 불가해하지도 않습니다.

패턴이 있습니다.

1950년대 리틀 힌튼이 냉혈한 동물들로 가득한 구덩이 옆에 웅크리고 있을 때, 연못 건너편에서 미국의 심리학자 프랭크 로젠블랫이 행동했습니다.

그는 거대한 IBM 컴퓨터를 개조하여 수백 개의 뉴런을 시뮬레이션하여 문자와 도형을 인식하는 것부터 시작하여 결국 하나의 존재가 되기를 원했습니다.

이것이 모든 '신경망'의 어머니인 퍼셉트론이었습니다.

Frank. Rosenblatt

1958년 뉴욕 타임즈는 퍼셉트론 팀과의 인터뷰에 깊은 인상을 받아 다음과 같은 낙관적인 예측을 내놓았습니다.

몇 년 안에 컴퓨터는 다음과 같이 될 것입니다. 걷고, 말하고, 자각하게 될 것입니다!

결과적으론 '인식 기계'는 농담에 불과했습니다. 말하지도 못하고 걷지도 못하며 왼쪽과 오른쪽도 구분하지 못합니다.

당시 로젠블랫은 AI 커뮤니티의 동료들로부터 '잘했지만 다음에는 그러지 말라'는 동정적인 시선을 받았습니다.

많은 학자들은 생명이 *기계*가 될 수 있다는 것을 의심하지 않았지만, 인공 생명을 만들기 위해서는 "프로그래밍"이 필요할 것이라고 일반적으로 확신했습니다.

.

우리 인간은 이미 너무 많은 것을 알고 있기 때문에 "개념과 규칙"으로 컴퓨터를 프로그래밍하고 명확한 목록을 제공하는 것이 간단하지 않을까요?

뉴런을 시뮬레이션하고 컴퓨터가 처음부터 세상에 대한 이해를 스스로 구축하도록 해야 합니다!

신톤은 어떨까요?

유감스럽게도 당시 신톤은 이런 '진실' 토론에 참여할 수 있는 위치에 있지 않았습니다.

그는 성난 운명의 바다에 질식하고 있었습니다.

(2) 갈망과 할 수 없음

힌튼의 청춘 전체를 요약하는 한 단어가 있다면, 그것은 " 갈망과 할 수 없음"입니다.

힌튼은 매우 실습을 좋아했고 목공예를 즐기며 자랐습니다. 하지만 빛나는 가계도에는 목수를 위한 자리는 없었습니다.

그는 어려운 학문의 길을 택해야 했습니다.

케임브리지에는 많은 인재들이 입학해 있었고 힌튼은 여러 전공을 차례로 바꾸며 물리학을 공부했지만 수학 배경이 탄탄하지 않았고 철학을 공부했지만 형이상학적인 세계를 파고들기 어려웠습니다. 요컨대 동급생들에 비해 깨달음을 얻지 못했습니다.

존중을 받지 못하면 자리를 떠날 용기가 있어야 합니다. 중도에 포기하고 런던으로 가서 이상한 일을 하기도 했습니다.

힌튼의 눈에는 깊은 자기 부정이 있었습니다. 가질 수 없는 것을 갈망할 때 모든 청소년이 겪는 고통입니다.

컴퓨터는 다른 사람의 계산과 다르기 때문에 결코 고통을 겪지 않으며, '자아'를 가진 진보된 존재만이 그런 고통, 즉 통증을 경험할 수 있다는 것은 부조리한 일입니다. 고통은 지능의 부산물입니다.

힌튼은 마지막 직업으로 심리학에 도전하기로 결심합니다.

이 과정에서 그는 버나드 윌리엄스 교수를 만나게 됩니다.

Bernard. 윌리엄스

윌리엄스는 평생을 적과 싸워온 도덕 철학자였는데, 그것은 바로 환원주의였습니다.

사실 '환원주의'는 당시 주류 과학의 가설적 추론이었습니다.

모든 것은 아무리 복잡하더라도 특정 기능을 가진 명확하게 정의된 '부분'으로 분해될 수 있습니다.

이 말은 사람과 동물을 포함한 시스템을 복제하려면 모든 부품을 찾기만 하면 된다는 뜻입니다!

환원주의 사상에 기초한 인체의 공화당 과학 월차트. 환원주의적 사고에 기반한 공화주의적 인체 월차트: 인체는 공장과 같습니다.

그러나 윌리엄스가 보기에 환원주의는 자만심만 불러일으키는 오만한 자만심이었죠.

그의 요점은 특히 인간의 도덕성과 같은 복잡한 체계는 명확한 규칙으로 환원될 수 없다는 것입니다.

우리의 다양한 생각은 뇌 내부의 다양한 물리적 배열을 반영해야 하지만, 이는 컴퓨터 내부와 동일하지 않습니다.

윌리엄스는 힌튼에게 말했습니다.

그 순간 힌튼의 뇌에서 원자폭탄이 터졌습니다.

시스템을 단순한 부품으로 분해하여 복제할 수 없다면, 다른 방법은 무엇일까요?

정답은 복잡한 시스템을 *전체*로 사용하여 다른 복잡한 시스템을 시뮬레이션하는 것입니다.

블레이드 러너 (1982)

기계에 개념과 규칙을 강요하는 것은 인공 지능의 하나로 분류되었습니다. "상징주의" 학파의 하나로, "환원주의"에 뿌리를 두고 있습니다.

그리고 인간의 학습 과정을 전체적으로 모방하기 위해 인공 신경 시스템을 사용하는 것은 "시스템 이론"에 뿌리를 둔 "신경망" 학파로 분류됩니다.

그리고 이후 수십 년 동안 두 학파는 표면적으로는 각자의 기술적 노선 때문에, 그러나 실제로는 세계의 본질에 '베팅'하고 있기 때문에 서로에게 양보하지 않고 대립해 왔습니다.

세계가 날카로운 "부분"으로 이루어져 있는지, 아니면 몸 전체가 시작되는 의 더미로 이루어져 있는지에 대한 내기입니다. "검보"?

"상징주의"와 "신경망"의 방법론의 근본적인 차이점은 다음과 같습니다.

"상징주의" 프로그램에서 가장 작은 부분은 "개념"입니다. .

모든 개념은 규칙으로 연결되어 하나의 거대한 어망을 형성합니다.

'케첩'과 같은 새로운 개념이 기존 개념의 그물망에서 적재적소에 걸려 새로운 매듭이 될 수 있습니다.

새로운 개념은 끝이 없으며, 그물망의 그물도 마찬가지입니다.

옛 규칙은 충분히 정확하지 않으며 끝없는 새로운 규칙으로 대체해야 합니다. 끝없는 새로운 규칙으로 대체해야 합니다.

예를 들어, 새는 날고 펭귄은 새이지만 펭귄은 날지 못하는 새입니다.

"신경망" 시나리오에서 뉴런이 유지하는 기본 요소는 "하위 개념"이라고 할 수 있습니다. 에서 나올 수 있습니다.

이것은 한 하위 개념의 변화가 암묵적으로 많은 하위 개념에 영향을 미친다는 것을 의미합니다.

예를 들어, 오랑우탄이 양파를 좋아한다고 하면 원숭이도 양파를 좋아한다고 추측할 수 있습니다.

귀하의 머릿속에서 오랑우탄과 원숭이는 두 가지 개념이지만 털, 동물, 지능, 영장류, 야생 등과 같은 특정 '하위 개념'을 공유하기 때문입니다.

그들도 두 가지 개념입니다.

여기서 핵심은 다음과 같습니다.

더 깊은 하위 개념 중 다수는 말로 설명할 수 없지만 본질적으로 일종의 신경세포 '조합'에 불과합니다. ".

그러나 자신의 사고 과정을 깊이 성찰해본 사람이라면 누구나

자신의 사고 과정에 대해 깊이 생각해본 사람이라면 "신경망"이 "상징주의"보다 우리 두뇌의 작동 방식에 더 가깝다는 데 동의할 것입니다.

그러나 지능을 두뇌와 같은 방식으로 구현해야 한다고 말하는 사람은 아무도 없으며, 언제나 지름길을 택할 수 있습니다.

그리고 창조주는 확실히 많은 경우 지름길이 통하기 때문에 치킨 수프에 반대하는 사람입니다.

1970년대에 "상징주의"는 어느 정도 괜찮은 추론을 만들어낼 만큼 발전했지만, "신경망"은 그렇지 못했습니다. "신경망"은 여전히 지체된 단계에 머물러 있었습니다.

이것은 매우 강력한 피드백입니다. 많은 신경망 학자들이 "환원주의" 진영에 합류했습니다.

그러나 힌튼은 스스로를 설득할 수 없었습니다. 어렸을 때 그랬던 것처럼, 그는 자신이 구축한 세계 모델에 어긋나는 것을 받아들이지 못합니다.

1972년, 그는 신경망에 관한 박사 학위를 받기 위해 에든버러 대학교에 입학했습니다.

아무도 알아내지 못하면 자신이 알아내야 했습니다.

놀랍게도 이번에는 버스에 있던 동전이 언덕을 올라갔다는 사실을 알아내는 것보다 답을 찾는 데 더 오랜 시간이 걸렸습니다.

박사 과정 첫해에 힌튼은 다른 AI 그룹 중 한 곳에서 수행한 실험을 보게 되었습니다."

a 컴퓨터와 두 대의 카메라에 연결된 로봇 팔을 자율적으로 제어하여 블록을 자동차 모양으로 만들었습니다.

당시 기술로는 지옥처럼 어려운 작업이었습니다. 시스템 비전은 흩어져 있는 블록을 윤곽선으로만 인식할 수 있었고, 블록이 한데 쌓이면 인식하지 못했기 때문입니다.

힌튼이 잊지 못할 순간이 있습니다. 기계식 팔이 약간 뒤로 물러나더니 쿵 하고 블록 더미를 부숴버리는 순간이었습니다.

누군가가 그렇게 했다면 "할 수 없어서" 좌절했을 거라고 생각할 것입니다. 저는 로봇이 블록을 향해 주먹을 휘두를 때 같은 감정을 느꼈습니다.

힌튼이 말했습니다.

감정을 갖는다는 것은 가질 수 없는 것을 갈망하기 시작할 때입니다.

Blade Runner (1982)

(iii) Bridge 

As 윌리엄스는 서로 다른 생각은 우리 뇌의 다른 물리적 배열을 반영해야 한다고 말합니다.

그러나 힌튼 앞에 놓인 질문은 다음과 같습니다.

"거시적 수준의 사고"와 "미시적 수준의 사고"의 차이점은 무엇일까요? "거시적 수준의 사고"와 "미시적 수준의 신경 배열"은 거칠고 예측할 수 없는 바다로 분리된 두 개의 고립된 섬과 같으며, 이를 연결하기 위해 "다리"가 필요합니다.

이 다리는 무엇인가요?

이 시점에서 힌튼은 매우 운이 좋았습니다. 수많은 거인들의 어깨가 그가 조각을 집어 들기를 기다리고 있기 때문입니다.

반세기 전, 아인슈타인 세대의 물리학 물결 속에서 '가장 단단한 두뇌'들이 사방에서 우주로 추락하고 있었습니다.

루드비히 볼츠만은 미시적 세계와 거시적 세계 사이의 관계에 대한 가장 위대한 창시자였습니다.

볼츠만은 매우 간단한 "통계적 + 확률적 계산" 방법을 발명했습니다:

볼츠만은 매우 간단한 "통계적 + 확률적 계산" 방법을 발명했습니다:

원자의 무게, 전하, 구조 등 원자의 미시적 특성만 알면 수십억 개의 원자로 이루어진 거시적 물체의 점도, 열, 확산성 등 물리적 특성을 파악할 수 있습니다.

볼츠만이 엔트로피의 기본 개념을 설명할 때도 동일한 이론적 틀을 사용했습니다.

이것이 바로 통계역학입니다.

Ludwig. 에두아르트 볼츠만

그러나 볼츠만은 많은 과학자들의 격렬한 반대에 부딪혔고 심지어 이교도 같은 방식으로 공격을 받기도 했습니다.

핵심적인 이유 중 하나는 '통계'와 '계산된 확률'이라는 모호한 방법을 사용하여 물리적 세계를 확실하게 설명하는 것이 어떤 종류의 과학인가 하는 것이었습니다. 어떤 종류의 과학일까요?

반대 과학자들의 분노는 본질적으로 세 단어로 요약됩니다: 부정.

우주의 복잡성이 인간의 계산 능력을 뛰어넘는다는 사실을 인정하지 말고, 인간이 최선을 다해도 세상을 모호한 방식으로만 파악할 수 있다는 사실을 인정하지 말라는 것입니다.

그러나 우주는 작은 인간의 분노에 반응하여 기본 구조를 바꾸지 않습니다.

정확성에 대한 집착을 버리는 것이 안개를 뚫고 거시적인 것과 미시적인 것을 연결하는 다리를 찾는 길입니다. '거시'와 '미시' 사이의 다리는 중요한 전제 조건입니다.

그러나 문제가 있습니다.

예를 들어 다양한 색상의 잉크를 함께 섞는 경우입니다.

이들은 분명히 역동적인 혼합 과정을 거쳐 결국 완전히 균질해질 것입니다. (이 시점에서 각 분자는 가능한 모든 상태에 있을 확률이 동일합니다.)

볼츠만의 이론은 균일하게 흔들려서 도달할 확률만 계산할 수 있습니다. "정상 상태".

그러나 인간 뇌의 미세 구조는 분명히 이런 종류의 '최종 정상 상태'가 아닙니다.

안정적이지만 "준안정적"이라고 부를 수 있을 정도로 안정적이지는 않습니다.

아래 그림과 같이

탄소로 만들어진 다이아몬드도 준안정 상태이고 흑연은 궁극적인 안정적인 상태입니다. 그러나 둘 사이의 잠재적인 에너지 장벽 때문에 다이아몬드를 흑연으로 *자동적으로* 변환하는 것은 어렵습니다.

같은 방식으로, 인간 뇌의 신경세포 구조는 불안정하지만 상당한 수준의 안정성을 유지합니다.

< img src="https://img.jinse.cn/7326749_image3.png">

볼츠만이 선구자로서 신톤에게 줄 수 있는 것은 한정되어 있습니다.

다음으로 바톤은 또 다른 위대한 신에게 넘어갔습니다.

1982년, 신경망과 새로운 집단 계산 능력을 갖춘 물리 시스템이라는 제목의 논문이 AI 커뮤니티를 뒤흔들었습니다.

이 논문은 아마추어 물리학자 존 홉필드에 의해 작성되었습니다.

John Hopfield

홉필드의 통찰을 이해하려면 먼저 자유 에너지 최소화 원칙을 알아야 합니다.

공이 항상 낮게 굴러가는 것처럼 물리적 구조가 무엇이든 시스템은 항상 외부에서 가능한 한 많은 작업을 수행합니다.

상대적으로 낮게 구르면 시스템은 "최소 자유 에너지 상태"에 도달하여 안정적입니다.

자 이제 자성 원자 무리를 상상해 봅시다. 이 원자들은 특정 온도(퀴리 온도) 이하에서 한 방향을 향하게 되는데, 이것이 바로 '최소 자유 에너지 상태'입니다.

이 상태는 단조롭고 복잡한 정보를 전달할 수 없습니다.

그러나 원자의 구조를 변경함으로써 시스템은 결국 원자들이 서로 다른 방향으로 배향된 상태로 안정화될 수 있는데, 이것이 바로 "최소 자유 에너지 상태"입니다. 상태입니다.

이 구조를 스핀 유리라고 합니다.

이 이미지는 상단에 다음을 보여줍니다. 이 이미지의 상단은 내부 무질서가 정상 상태를 형성하여 아래 표시된 복잡한 "에너지 지형"을 만드는 "스핀 유리"를 보여줍니다.

홉필드의 기발한 아이디어:

현실 세계의 원자를 사용하여 스핀 유리를 만드는 대신, 그는 컴퓨터 0을 사용하여 스핀 유리를 만들었습니다. 그는 컴퓨터에서 원자 상태를 0과 1의 서로 다른 전위로 대체하여 사이버 공간에서 스핀 유리를 시뮬레이션했습니다.

이것이 홉필드 네트워크로 알려지게 되었습니다.

이것은 도식일 뿐입니다. 실제 홉필드 네트워크에는 더 많은 0과 1이 있습니다.

이론이 너무 추상적이므로 비유를 들어보겠습니다.

전체가 물로 구성된 행성은 중력에서 매우 많은 수의 0과 1을 가질 것입니다. 물로만 구성된 행성의 최종 항상성은 중력의 작용을 받는 완벽한 구여야 합니다. 물결치는 죽은 덩어리.

그러나 행성에 수소, 산소, 탄소, 철과 같은 원소가 풍부하다면 다양한 성질의 구조가 서로 마찰하고 서로를 잡아주며 결국 거시적으로는 구형이지만 미시적으로는 산 모양으로 안정화될 수 있습니다.

홉필드. 홉필드 네트워크는 지구 표면의 산과 같습니다.

지구와 달리 홉필드 네트워크에서 산의 최종 코스는 자연에 의해 만들어진 것이 아니라 인간이 설정한 것입니다.

설정 방법은 "훈련"입니다.

예를 들어 '알파벳 26글자의 모양'을 훈련하면 '풍경'이 특정 모양으로 성형되고 그 모양에서 안정된 홉필드 네트워크를 갖게 됩니다. 그 모양에서 안정화됩니다. (이 모양이 자유 에너지가 가장 낮은 모양이기 때문입니다.)

이 시점에서 훈련이 완료되었습니다.

이제 유용한 속성이 생겼습니다."

공중에서 공을 던진다고 가정하면 공은 그 자리에서 멈추지 않고 결국 상대적으로 낮은 위치로 굴러 내려갑니다.

지형의 복잡성 때문에 공은 던지는 위치에 따라 다른 낮은 지점으로 굴러 내려갑니다.

그런 다음 우리는 이 속성을 활용해보세요:

한 번에 여러 지점에서 공을 던지면 공이 서로 다른 곳에 떨어집니다.

이 산맥 위에 서서 공을 이런 배열로 던진다고 가정해 봅시다:

그들이 마지막으로 머무는 곳은:

응원을 억누를 필요는 없습니다. 이것이 지능형 시스템이 문자 "J"를 인식하는 방식입니다.

이제 호펠드 네트워크로 돌아가서 그 밑바닥을 살펴봅시다:

미시적 수준에서 뉴런을 모방하여 거시적 수준에서 "메모리" 강자로 부상하는 네트워크입니다. 미시적 수준에서 뉴런을 모방하여 거시적 수준에서 "메모리" 능력으로 부상하는 컴퓨터 시스템입니다.

메모리는 지능의 근간이 되는 상위 수준의 저장소입니다:

세상은 극도로 매우 복잡하고 개방적이며 매일 새로운 것들이 등장합니다.

예를 들어, 고대 인류는 우리가 기억하는 모든 동물과 *정확히* 같지 않은 동물을 만났을 가능성이 높습니다.

그러나 생존을 위해 우리 조상들은 공격할지 도망칠지 결정하기 위해 기억에 가장 가까운 동물과 빠르게 일치시켜야 했습니다.

홉필드 네트워크는 새로운 몬스터를 무한히 새로 고쳐서 한정된 수의 기억 카테고리로 분류하는 작업을 정확히 수행합니다.

인류 역사상 인간 두뇌의 주요 범주 중 하나에 가깝게 작동하는 시스템이 만들어진 것은 이번이 처음입니다.

1982년은 AI에 있어 '기적의 해'였습니다.

생물학적 뉴런과 신경망의 노드 간 신호의 강도는 뉴런과 뉴런 사이의 신호의 강도와 동일합니다. 강도와 신경망 노드 간의 강도를 비유한 것입니다.

볼츠만과 홉필드, 두 거인의 어깨 위로 올라간 카메라가 힌튼의 머리 뒤에서 천천히 올라가고, 멀리서 다가오는 북소리와 안개가 걷히면서 눈앞에 웅장한 다리가 드러납니다.

힌튼의 가느다란 팔은 인류 탐험의 타오르는 횃불을 들고 있습니다.

(IV) 번데기, 수프, 나비

기억은 지능의 끝이 아니며, 이 정보를 해석하고 궁극적으로 표현으로 대응하기 위한 이성이 필요합니다.

심리학을 전공한 힌튼은 그 요점을 금방 알아챘습니다.

단순함을 위해, 혹은 그렇게까지 나아가지 않기 위해, 어쨌든 Hopfield는 저장된 다양한 정보 조각들이 완전히 독립적이라고 가정했습니다.

이것이 홉필드의 네트워크가 이해하기 어려운 이유이자, 이해하기 어려운 이유이기도 합니다.

모든 동전이 미리 정해진 슬롯에 들어가도록 묶여 있는 동전 분류기와 비슷합니다.

이것은 괜찮아 보일 수 있습니다. 결국 A와 B 사이에는 다른 문자가 없기 때문입니다.

그러나 더 넓은 "의미론"으로 확장하면 한계가 바로 드러납니다.

예를 들어, 다음과 같은 단어가 있습니다. "좋다"와 "나쁘다"의 개념. 좋지 않은 것은 반드시 나쁜 것일까요? 평범함, 결함, 공정함, 우수함, 완벽함 등 좋은 것과 나쁜 것 사이에는 분명히 많은 개념이 있습니다.

그러나 이러한 개념은 선과 악이 일직선이 아니며, 교차하기도 하고 교차하지 않기도 합니다.

그들은 큰 의미 공간에서 서로 다른 위치에 있으며, 마치 뚜렷한 구분이 없는 스펙트럼처럼 존재합니다.

이것이 바로 우리가 수많은 단어를 만들어야 하는 이유죠?

이러한 개념들 간의 관계를 보다 정확하게 표현하기 위해서는 홉필드 네트워크에 중요한 속성인 확률을 도입하는 것이 중요합니다.

예를 들어, '급진적'이라는 단어에는 22%의 '용기 있는', 16%의 '임의적', 62%의 '급진적'이 포함될 수 있으며, 그 뒤에 '급진적. "와 같이 62%의 다른 의미를 포함할 수 있습니다.

이 차트는 단어 간의 의미적 연관성의 정도를 보여줍니다. 색상이 빨간색일수록 의미적 연관성이 높습니다. 예를 들어 '이름'과 '성별'은 본질적으로 관련이 있습니다.

그 결과, 개념은 더 이상 사일로가 아니라 확률에 기반한 미묘한 수학적 관계를 형성하며 '의미론적 공간'을 형성합니다.

이러한 개념은 더 이상 사일로가 아닙니다.

각 단어에는 의미 공간에 좌표가 있습니다.

시맨틱 공간은 단순한 3차원 공간이 아니라 수백, 수천 개의 차원으로 이루어진 다차원 공간입니다.

시맨틱 스페이스

이 이미지는 왼쪽의 단어가 50개의 차원으로 묘사된 것을 보여줍니다. 각 차원의 색상은 '하위 개념'의 강도로 볼 수 있습니다.

이 시맨틱 공간을 통해 시스템은 개념을 세분화하고 각 하위 개념 '파우더'에 대한 좌표를 찾을 수 있습니다.

예를 들어:

공통적인 "통과"와 방해받지 않는 "통과"는 몇 가지 심층적인 의미를 공유합니다. 는 우리가 공감할 수 있지만 설명하기 어려운 일종의 공통된 깊은 의미, 하위 개념을 포함합니다.

하위 개념으로 학습하는 것은 이해가 순식간에 만들어지는 인셉션에 더 깊이 들어가는 것과 같습니다.

그리고 이러한 하위 개념을 더 깊은 공간에서 재통합하여 학습 중인 내용과 다른 완전히 새로운 구문, 즉 표현을 뱉어낼 수 있습니다.

이것이 바로 Sinton이 하고자 하는 일입니다.

1983년, 힌튼과 그의 공동 연구자인 테렌스 시노프스키가 이 새로운 시스템인 "볼츠만 머신"을 발표했습니다. strong>.

싱턴(오른쪽)과 테런스 -Szernowski

볼츠만 머신은 "하위 개념적" 사고 공간을 필요로 하기 때문에 힌튼은 홉필드 네트워크를 두 가지 계층으로 변경했습니다.