기사 출처
지난 몇 년 동안 암호 화폐와 AI 모두 놀라운 발전을 보였습니다.
Crypto는 다음과 같은 성공을 축하했습니다.디파이 , 그리고 최근에데시 .
AI는 다음과 같은 성공을 축하했습니다.알파폴드2 , 그리고 최근에ChatGPT.
2018년, 피터 틸뾰족한 암호화폐의 탈중앙화 세력과 AI의 중앙집중화 세력 사이의 긴장에 대해 "암호화폐는 자유주의자이고 AI는 공산주의자"라는 용어를 만들어냈습니다. 여기서 저는 우리가 이 둘을 결합함으로써 무언가를 배울 수 있다고 주장하고 싶습니다.
왜? 보안 및 암호화 커뮤니티에서 연마한 기술과 접근 방식은 AI의 유용한 응용 프로그램을 잠금 해제하고 AI 위험을 완화할 수 있는 잠재력을 가지고 있기 때문입니다.
우리 모두 죽을 건가요?
AI 안전 분야의 저명한 인물인 Eliezer Yudkowsky가 최근에 깜짝 등장했습니다.은행 없는 팟캐스트 , 뚜렷하게 Web3 팟캐스트입니다.
두 가지 이유로 놀랐습니다.
첫째, Eliezer는 인간이 거의 모든 작업을 수행할 수 있는 인공 일반 지능(AGI)을 개발하는 빠른 경로에 있으며 그러한 AGI가 우리 모두를 죽일 가능성이 매우 높다고 생각합니다.
둘째, 우리가 생존할 수 있는 작은 기회를 늘리기 위해 할 수 있는 일이 없느냐는 질문에 그는 강력한 보안 사고 방식을 가진 보안 및 암호화 지향 사람들이 AI 정렬에 손을 댈 것을 독려했습니다.
압축을 풀자. 먼저 암호화(여기서는 주로 암호화를 의미함)와 보안 커뮤니티가 AGI의 일부 위험을 완화한다는 약속을 확대하기 전에 AGI에 대해 걱정해야 하는 이유에 대해 논의할 것입니다.
AI 안전 : 생각보다 어렵다?
최근 뉴스를 본 사람이라면 누구나 증명할 수 있듯이 AI가 극적으로 가속화되는 진전 없이는 일주일도 지나지 않습니다. 놓친 경우를 대비하여 다음 세 가지 중요한 발전 사항이 있습니다.
첫째, Microsoft가 OpenAI에 투자하고, Google이 OpenAI의 경쟁자인 Anthropic에 투자하고, DeepMind와 Google Brain이 하나의 조직으로 합병하는 등 AI의 중앙 집중화를 향한 추진이 있었습니다.
둘째, 보다 일반화된 AI에 대한 압박이 있었습니다. 최근 논문 "GPT4: 인공 일반 지능의 불꽃 ”는 GPT-4가 인간 지능을 평가하는 데 일반적으로 사용되는 척도인 마음 이론의 첫 사례를 이미 어떻게 입증했는지 보여주었습니다.
셋째, AutoGPT가 더 복잡한 작업을 수행하도록 스스로 재촉함으로써 더 많은 에이전트가 되면서 AI 시스템에서 더 많은 에이전시를 요구하고 있습니다.
지난 12월,메타큘러스 예측 플랫폼인 는 대략 2039년에 AGI가 도래할 것이라고 예측했습니다. 이제 5월인 2031년 날짜는 AI가 진행된 후 5개월 이내에 8년의 타임라인 감소입니다.
이러한 발전을 우리가 인공 일반 지능을 향한 길에 있다는 신호로 받아들인다면 다음 질문은 AGI 안전이 왜 그렇게 어려운 것으로 간주되는가입니다.
틀림없이 우리는 AGI 안전 문제를 세 가지 하위 문제로 나눌 수 있습니다.
정렬: AI를 인간의 가치와 어떻게 정렬할 수 있습니까?
AI 정렬은 AI가 우리의 가치와 정렬되도록 하는 방법에 대한 간단한 질문입니다. 그러나 우리는 우리의 가치가 무엇인지에 대해서도 동의하지 않는다는 사실을 잊기 쉽습니다. 문명의 여명기부터 철학자와 단순한 필사자 모두 윤리에 대해 논쟁을 벌였으며 모든 면에서 설득력 있는 주장을 펼쳤습니다. 그렇기 때문에 현재 문명은 대부분 가치 다원주의(상충되는 가치를 가진 인간이 평화롭게 공존한다는 개념)에 도달했습니다. 그것은 다양한 인간 가치를 위해 작동하지만 하나의 인공 지능 에이전트로 구현하기는 어렵습니다.
AGI에 갖춰야 할 도덕적 가치가 무엇인지 대략적으로 알고 있었던 달콤한 순간을 상상해 봅시다. 다음으로 인간의 진화, 마인드 아키텍처 또는 컨텍스트를 공유하지 않는 실리콘 기반 개체에 이러한 인간의 가치를 전달해야 합니다. 인간이 다른 인간과 협력할 때 우리는 우리 종의 생물학, 진화 역사, 심지어 일부 문화적 맥락까지 공유하기 때문에 공유된 암묵적 배경 지식에 크게 의존할 수 있습니다. AI를 사용하면 이러한 공통 컨텍스트에 의존할 수 없습니다.
또 다른 문제는 어떤 목표를 추구하는 데 일반적으로 살아 있고 더 많은 자원을 얻는 것이 도구적으로 유용하다는 것입니다. 이것은 특정 목표를 추구하도록 설정된 AI가 종료되는 것을 저항하고 점점 더 많은 리소스를 찾을 수 있음을 의미합니다. AI가 인명 피해, 방치, 기만 등을 포함하는 목표를 달성할 수 있는 무수한 가능성과 이러한 모든 제약을 신뢰할 수 있는 방식으로 미리 예측하고 지정하는 것이 얼마나 어려운지를 고려할 때 기술적 정렬 작업은 벅찬 일입니다. .
컴퓨터 보안
인간이 일련의 가치에 동의하고 AGI를 기술적으로 정렬하는 방법을 알아내더라도 기본 소프트웨어 및 하드웨어 자체가 신뢰할 수 있다는 증거 없이는 AGI가 안정적으로 작동할 것으로 기대할 수 없습니다. AGI가 제작자에게 전달하는 상당한 이점을 감안할 때 악의적인 해커는 AGI를 방해하거나 재프로그래밍할 수 있습니다.
더 나아가 의도하지 않은 버그가 AGI의 목표 실행을 방해하거나 AGI 자체가 예를 들어 위험한 방식으로 스스로를 재프로그래밍하여 자체 코드의 취약점을 악용할 수 있습니다.
불행하게도 우리는 안전하지 않은 사이버 기반에 오늘날의 전체 수조 달러 생태계를 구축했습니다. 우리의 물리적 인프라의 대부분은 전기 그리드, 핵무기 기술과 같은 해킹 가능한 시스템을 기반으로 합니다. 미래에는 안전하지 않은 자율주행차와 자율드론도 해킹을 당해 킬러봇이 될 수 있다. Sputnick 또는 Solarwinds와 같은 증가하는 사이버 공격은 심각하지만 잠재적인 미래의 AG 지원 공격과 비교할 때 무해할 수 있습니다. 이러한 공격에 대한 우리의 의미 있는 대응 부족은 우리가 안전하지 않은 인프라의 대부분을 재구축해야 할 수 있는 AGI 안전 보안 작업에 적합하지 않다는 것을 의미합니다.
"보안 및 암호화 커뮤니티의 기술과 기술을 활용하면 다극 초지능 시나리오를 추구할 수 있습니다."
조정
AGI의 정렬 및 보안을 진행하는 데는 시간이 걸릴 수 있으므로 AGI를 구축하는 주체가 그 과정에서 조정하는 것이 중요합니다. 불행하게도 AGI에 먼저 도달하기 위해 협력하고 군비 경쟁 역학을 피하도록 주요 AI 행위자(이는 협력 또는 국가일 수 있음)를 장려하는 것은 그렇게 간단하지 않습니다. 파국은 한 행위자만 합의에서 벗어나게 합니다. 즉, 모두가 협력하더라도 한 사람이 앞서 나가면 결정적인 이점을 확보하게 됩니다. 이 선점자 이점은 AGI가 구축되고 AGI 시스템의 단일 배포가 소유자에게 전달할 수 있는 권한이 주어질 때까지 지속되며 소유자가 포기하기 어려운 유혹입니다.
안전한 다극 AI
아마도 당신은 지금까지 고개를 끄덕였을 것입니다. 예, 물론입니다. AI 안전은 정말 어렵습니다. 그러나 세계에서 암호 화폐가 그것과 무슨 관련이 있습니까?
AI 발전의 빠른 속도와 이를 안전하게 만드는 데 어려움을 감안할 때 전통적인 우려는 우리가 AGI 싱글톤 시나리오를 향해 경주하고 있다는 것입니다. 도중에 잠재적으로 인류를 죽일 수 있습니다.
보안 및 암호화 커뮤니티의 기술과 기술을 활용함으로써 인간과 AI의 네트워크가 안전하게 협력하여 지역 지식을 문명의 집단적 초지능으로 구성하는 다극 초지능 시나리오를 추구하도록 경로를 변경할 수 있습니다.
이것은 크고 추상적인 주장이므로 암호화 및 보안 커뮤니티가 AI 위험을 길들이고 새로운 애플리케이션을 잠금 해제하여 AI의 아름다움을 발휘하는 데 정확히 어떻게 도움이 될 수 있는지 알아보겠습니다.
보안 및 암호화는 어떻게 AI 위험을 완화할 수 있습니까?
레드 팀 구성
유명한 AI 안전 연구원인 Paul Christiano는제안 AI는 일반적으로 시뮬레이션된 사이버 공격을 지칭하기 위해 컴퓨터 보안에서 사용되는 용어인 더 많은 레드 팀 구성이 절실히 필요합니다. 예를 들어 AI 컨텍스트의 레드팀은 기계 학습 시스템에서 치명적인 행동을 유발하는 입력을 검색하는 데 사용될 수 있습니다.
Red-teaming은 또한 암호화 커뮤니티가 경험한 것입니다. 비트코인과 이더리움 모두 지속적으로 적대적인 공격을 받는 환경에서 개발되고 있습니다. 안전하지 않은 프로젝트는 수백만 달러 규모의 암호화폐 "버그 바운티"에 해당하기 때문입니다.
비방탄 시스템은 제거되고 더 많은 방탄 시스템만 생태계 내에 남습니다. 암호화 프로젝트는 기존 소프트웨어를 파괴할 수 있는 사이버 공격을 견딜 수 있는 시스템에 좋은 영감을 줄 수 있는 수준의 적대적 테스트를 거칩니다.
담합 방지
AI의 두 번째 문제는 여러 신흥 AI가 결탁하여 결국 인류를 전복시킬 수 있다는 것입니다. 예를 들어, "토론을 통한 AI 안전 , 인기있는 정렬 전략은 두 AI가 서로 주제에 대해 토론하는 데 의존하며 루프에서 인간 판사가 누가 이길지 결정합니다. 그러나 인간 판사가 배제할 수 없는 한 가지는 두 AI 모두 그녀에 대해 공모하고 있으며 진정한 결과를 촉진하지 않는다는 것입니다.
다시 말하지만, 암호화폐는 담합 문제를 피한 경험이 있습니다.시빌 공격 , 단일 노드를 사용하여 많은 활성 가짜 ID를 작동하여 네트워크에서 은밀하게 대부분의 영향력을 얻습니다. 이를 방지하기 위해 메커니즘 설계에 대한 상당한 양의 작업이 암호화 내에서 나타나고 있으며 일부는 AI 공모에 대한 유용한 교훈도 제공할 수 있습니다.
견제와 균형
현재 OpenAI 경쟁업체인 Anthropic이 탐구하고 있는 또 다른 유망한 안전 접근 방식은 "헌법 AI ,” 인간이 부여한 규칙과 원칙을 사용하여 한 AI가 다른 AI를 감독합니다. 이것은 견제와 균형의 시스템에서 상충되는 이익과 제한된 수단을 설정하는 미국 헌법 설계에서 영감을 받았습니다.
다시 말하지만, 보안 및 암호화 커뮤니티는 헌법과 같은 견제 및 균형 조정에 대해 잘 알고 있습니다. 예를 들어 보안 원칙인 POLA(최소 권한 원칙)는 엔터티가 작업을 수행하는 데 필요한 최소한의 정보와 리소스에만 액세스할 수 있도록 요구합니다. 고급 AI 시스템을 구축할 때도 고려해야 할 유용한 원칙입니다.
이것들은 보안 및 암호화 커뮤니티에서 두드러진 보안 사고 방식 유형이 AI 조정 문제를 어떻게 도울 수 있는지를 보여주는 많은 예 중 세 가지에 불과합니다.
암호화와 보안이 어떻게 AI의 아름다움을 불러일으킬 수 있을까요?
직접 시도할 수 있는 AI 안전 문제 외에도 암호화 보안 혁신이 AI를 길들이는 데 도움이 될 수 없을 뿐만 아니라 예를 들어 새롭고 유익한 응용 프로그램을 활성화하여 AI의 아름다움을 발휘하는 몇 가지 사례를 살펴보겠습니다.
개인 정보 보호 AI
전통적인 AI가 실제로 건드릴 수 없는 몇 가지 영역이 있습니다. 특히 개인의 건강 정보나 금융 데이터와 같이 개인 정보 보호 제약이 강한 민감한 데이터가 필요한 문제를 해결합니다.
다행스럽게도,지적한대로 암호학 연구원인 Georgios Kaissis에 따르면 연합 학습, 차등 개인 정보 보호, 동형 암호화 등과 같은 암호 및 보조 접근 방식이 빛나는 영역입니다. 컴퓨팅에 대한 이러한 새로운 접근 방식은 개인 정보를 유지하면서 대규모 민감한 데이터 세트를 처리할 수 있으므로 중앙 집중식 AI보다 비교 우위가 있습니다.
현지 지식 활용
전통적인 AI가 어려움을 겪는 또 다른 영역은 빅 데이터가 이해할 수 없는 기계 학습(ML)의 엣지 사례를 해결하는 데 종종 필요한 로컬 지식을 소싱하는 것입니다.
암호화 생태계는 개발자가 인센티브를 사용하여 알고리즘에 대한 더 나은 로컬 데이터를 유치할 수 있는 시장을 구축함으로써 로컬 데이터 제공을 지원할 수 있습니다. 예를 들어, Coinbase 공동 창립자 Fred Ehrsam제안 민감한 데이터의 교육을 허용하는 개인 ML을 블록체인 기반 데이터 및 ML 시장에 더 나은 데이터를 유치하는 블록체인 기반 인센티브와 결합합니다. ML 모델의 실제 교육을 공개하는 것이 실행 가능하지 않거나 안전하지 않을 수 있지만 데이터 마켓플레이스는 데이터 기여의 공정한 몫에 대해 제작자에게 비용을 지불할 수 있습니다.
암호화된 AI
더 장기적으로 보면 암호화 접근 방식을 활용하여 더 안전하고 강력한 AI 시스템을 구축하는 것이 가능할 수도 있습니다.
예를 들어 암호학 연구원인 Andrew Trask는제안 동형암호를 사용하여 신경망을 완전히 암호화합니다. 가능하다면 이는 네트워크의 인텔리전스가 도난으로부터 보호되어 행위자가 입력을 공개하지 않고 모델과 데이터를 사용하여 특정 문제에 협력할 수 있음을 의미합니다.
그러나 더 중요한 것은 AI가 동형암호화되면 외부 세계가 암호화된 것으로 인식된다는 것입니다. 비밀 키를 제어하는 사람은 AI를 야생으로 내보내는 대신 AI가 만드는 개별 예측을 잠금 해제할 수 있습니다.
다시 말하지만, 이들은 암호화가 AI의 새로운 사용 사례를 잠금 해제할 수 있는 잠재적으로 많은 것의 세 가지 예일 뿐입니다.
"밈을 제어하는 밈과 기관을 제어하는 기관의 예도 AI 시스템이 AI 시스템을 제어할 수 있음을 시사합니다."
조각 맞추기
중앙 집중식 AI는 단일 실패 지점으로 어려움을 겪습니다. 복잡한 인간 가치 다원주의를 하나의 목적 함수로 압축하는 것만이 아닙니다. 또한 오류, 내부 손상 및 외부 공격에 취약합니다. 반면에 보안 및 암호화 커뮤니티에서 구축한 보안 다극 시스템에는 많은 가능성이 있습니다. 그들은 가치 다원주의를 지원하고 레드 팀 구성, 견제와 균형을 제공할 수 있으며 안티프래질합니다.
암호화 시스템의 단점도 많이 있습니다. 예를 들어 암호화는 분산 데이터 저장, 기능적 암호화, 적대적 테스트 및 이러한 접근 방식을 여전히 엄청나게 느리고 비싸게 만드는 계산 병목 현상의 발전이 필요합니다. 또한 분산형 시스템은 중앙화형 시스템보다 덜 안정적이며 시스템을 지배하기 위해 공모하거나 시스템을 전복하려는 동기가 항상 있는 불량 행위자에게 취약합니다.
그럼에도 불구하고 AI의 빠른 속도와 AI의 보안 및 암호화에 관심이 있는 사람들의 상대적 부족을 고려할 때 여기에서 논의된 이점 중 일부를 테이블에 가져오면서 AI에 의미 있게 기여할 수 있는지 고려하는 것이 아마도 너무 이르지 않을 것입니다.
안전한 다극 AI의 약속은잘 요약기술 선구자인 Eric Drexler는 1986년에 "밈을 제어하는 밈과 기관을 제어하는 기관의 예는 AI 시스템이 AI 시스템을 제어할 수 있음을 시사합니다."