IOSG｜동일화된 AI 인프라를 위한 방법은 무엇인가요?

이 연구의 목적은 개발자에게 가장 중요한 AI 영역과 웹3.0 및 AI 분야에서 폭발적으로 성장할 다음 기회를 탐색하는 것입니다.

새로운 연구 인사이트를 공유하기 전에, 총 500만 달러 규모의 RedPill의 1차 펀딩에 참여하게 되어 기쁘게 생각하며, 앞으로 몇 달 동안 RedPill과 함께 일할 수 있기를 기대합니다. RedPill과 함께 성장할 수 있기를 기대합니다!

TL;DR

웹3와 AI의 결합이 암호화폐 커뮤니티의 화두로 떠오르면서 암호화폐 업계에서는 AI 인프라 구축 붐이 일고 있지만, 실제로 AI로 또는 AI를 위해 만들어진 앱은 많지 않으며, AI 인프라의 동질화 문제가 점차 가시화되고 있습니다. 최근 유니티가 참여한 레드필의 1차 펀딩을 통해 이 문제를 더 깊이 이해하게 되었습니다.

• AI Dapp 구축을 위한 주요 도구로는 분산형 OpenAI 액세스, GPU 네트워크, 추론 네트워크, 에이전트 네트워크 등이 있습니다.

• "비트코인 채굴 시절"보다 GPU 네트워크가 더 뜨거운 이유는 ▲AI 시장이 훨씬 더 크고 빠르고 꾸준히 성장하고 있으며 ▲AI는 매일 수백만 개의 앱을 지원하고 있으며 ▲AI에는 광범위한 GPU 모델과 서버가 필요하기 때문입니다. AI에는 다양한 GPU 모델과 서버 위치가 필요하고, 기술이 그 어느 때보다 성숙해졌으며, 고객층이 더 넓어졌습니다.

• 추론 네트워크와 에이전트 네트워크는 인프라는 비슷하지만 초점이 다릅니다. 추론 네트워크는 주로 숙련된 개발자가 자체 모델을 배포하는 데 사용되며 비 LLM 모델을 실행하는 데 반드시 GPU가 필요하지 않습니다. 에이전트 네트워크는 개발자가 자체 모델을 가져올 필요가 없고 큐 엔지니어링과 여러 에이전트를 서로 연결하는 방법에 더 중점을 두는 LLM 중심적인 네트워크입니다. 에이전트 네트워크에는 항상 고성능 GPU가 필요합니다.

• AI 인프라 프로젝트는 많은 것을 약속하며 새로운 기능을 계속 출시하고 있습니다.

• 대부분의 기본 암호화 프로젝트는 아직 테스트넷 단계에 있으며, 안정성이 떨어지고 구성이 복잡하며 기능이 제한적이며 보안과 개인정보 보호를 입증하는 데 시간이 필요합니다.

• AI Dapp이 메가트렌드가 된다고 가정하면, 감시, RAG 관련 인프라, Web3 기본 모델, 암호화 기본 API와 데이터가 내장된 탈중앙화 에이전트, 평가 네트워크 등 미개발 영역이 많이 있습니다.

• 수직적 통합은 주목할 만한 추세입니다. 인프라 프로젝트는 AI Dapp 개발자의 작업을 간소화하기 위해 원스톱 쇼핑을 제공하려고 합니다.

• 미래는 하이브리드가 될 것입니다. 추론의 일부는 프론트엔드에서 수행되고 일부는 체인에서 계산되어 비용과 검증 가능성을 고려할 수 있습니다.

   출처: IOSG 

• 

소개

• 웹3와 AI의 결합은 오늘날 암호화폐 업계에서 가장 많이 논의되는 주제 중 하나입니다. 재능 있는 개발자들이 암호화폐 세계를 위한 AI 인프라를 구축하며 스마트 콘트랙트에 지능을 부여하기 위해 노력하고 있습니다. 개발자들은 다양한 데이터, 모델, 연산 능력, 운영, 배포, 블록체인과의 통합을 다루어야 하는 매우 복잡한 작업을 통해 AI 디앱을 구축합니다. 이러한 요구에 대응하기 위해 Web3 창립자들은 GPU 네트워크, 커뮤니티 데이터 라벨링, 커뮤니티 훈련 모델, 검증 가능한 AI 추론 및 훈련, 에이전트 상점 등 여러 가지 초기 솔루션을 개발했습니다.

• 이러한 급성장하는 인프라를 배경으로 실제로 AI를 활용하거나 AI를 위해 구축된 앱은 많지 않습니다. AI dApp 개발 튜토리얼을 찾는 개발자들은 네이티브 크립토 AI 인프라와 관련된 튜토리얼이 많지 않고, 대부분 프런트엔드에서 OpenAI API 호출만 다루고 있다는 사실을 발견했습니다.

  출처: IOSG Ventures

• 

• 현재 애플리케이션은 블록체인의 탈중앙화 및 검증 가능한 기능을 충분히 활용하지 못하고 있지만, 이는 곧 바뀔 것입니다. 현재 대부분의 암호화폐 중심 AI 인프라는 테스트 네트워크를 시작했으며 향후 6개월 이내에 가동할 계획입니다.

• 이 연구에서는 암호화폐 영역의 AI 인프라에서 사용할 수 있는 주요 도구에 대해 자세히 설명합니다. 암호화폐 세계의 GPT-3.5 순간을 준비해 봅시다!

< strong>1. RedPill: OpenAI를 위한 분산형 라이선싱

앞에서도 언급했듯이 우리가 투자한 RedPill은 훌륭한 소개 포인트입니다.

OpenAI는 고급 AI Dapp을 구축하는 데 탁월한 GPT-4-vision, GPT-4-turbo, GPT-4o 등 세계 최고 수준의 강력한 모델을 여러 개 보유하고 있습니다.

개발자는 예측자 또는 프런트엔드 인터페이스를 통해 OpenAI API를 호출하여 dApp에 통합할 수 있습니다.

RedPill은 여러 개발자의 OpenAI API를 단일 인터페이스에 통합하여 전 세계 사용자에게 빠르고 저렴하며 검증 가능한 AI 서비스를 제공함으로써 최고의 AI 모델 리소스에 대한 액세스를 민주화합니다. API 요청은 배포 네트워크를 통해 실행되며, OpenAI의 제한을 우회하여 다음과 같은 암호화폐 개발자들이 직면하는 몇 가지 일반적인 문제를 해결합니다.

• < em>제한된 TPM(분당 토큰 수): 신규 계정은 인기 있고 AI에 의존하는 디앱의 토큰에 제한적으로 액세스할 수 있습니다.

• 액세스 제한: 일부 모델은 신규 계정 또는 특정 국가에 대한 액세스 제한을 설정합니다.

개발자는 동일한 요청 코드를 사용하되 호스트 이름을 변경함으로써 높은 확장성과 제한 없이 저렴하게 OpenAI 모델에 액세스할 수 있습니다.

2. GPU 네트워킹

OpenAI의 API를 사용하는 것 외에도 많은 개발자가 집에서 직접 모델을 호스팅하는 방법을 선택합니다. 이들은 io.net, Aethir, Akash 및 기타 인기 있는 네트워크와 같은 탈중앙화된 GPU 네트워크를 사용하여 자체 GPU 클러스터를 설정하고 다양하고 강력한 내부 또는 오픈 소스 모델을 배포 및 실행할 수 있습니다.

이와 같은 분산형 GPU 네트워크는 개인 또는 소규모 데이터센터의 컴퓨팅 성능을 활용할 수 있어 유연한 구성, 더 많은 서버 위치 선택, 저렴한 비용을 제공하므로 개발자가 제한된 예산으로 AI 관련 실험을 쉽게 수행할 수 있습니다. 그러나 이러한 GPU 네트워크는 탈중앙화된 특성으로 인해 기능, 가용성 및 데이터 프라이버시 측면에서 한계가 있습니다.

지난 몇 달 동안 GPU에 대한 수요가 폭발적으로 증가하여 이전의 비트코인 채굴 붐을 능가했습니다. 그 이유로는 다음과 같은 것들이 있습니다:

• 타겟 고객이 증가했으며, GPU 네트워크는 이제 그 수가 많을 뿐만 아니라 충성도가 훨씬 높고 암호화폐 가격 변동에 덜 민감한 AI 개발자에게 서비스를 제공하고 있습니다.

• 탈중앙화 GPU는 채굴 전용 장치보다 더 다양한 모델과 사양을 제공하며, 플레이스위즈 요구사항에 더 적합합니다. 특히 대규모 모델 처리에는 더 높은 VRAM이 필요하지만, 소규모 작업에는 더 적합한 GPU를 사용할 수 있습니다. 동시에 탈중앙화된 GPU는 지상과 가까운 최종 사용자에게 서비스를 제공할 수 있어 지연 시간을 줄일 수 있습니다.

• 기술이 발전함에 따라 GPU 네트워크는 솔라나 합의, 도커 가상화, 레이 컴퓨팅 클러스터와 같은 고속 블록체인에 의존하고 있습니다.

• 투자 수익률 측면에서는 AI 시장이 확대되고 있고 새로운 앱과 모델을 개발할 기회가 많으며, H100 모델은 60-70%의 예상 수익을 제공하는 반면 비트코인 채굴은 승자독식 시나리오와 제한된 생산량으로 더 복잡합니다.

• 아이리스 에너지, 코어 사이언티픽, 비트디어와 같은 비트코인 채굴 기업들도 GPU 네트워크를 지원하고 AI 서비스를 제공하기 시작했으며, H100과 같은 AI용 GPU를 적극적으로 구매하고 있습니다.

추천: SLA를 크게 중요시하지 않는 웹2.0 개발자에게 io.net은 깔끔하고 사용하기 쉬운 환경을 제공하며 비용 효율적인 옵션입니다.

3. 웹에 대한 추론

3. 강한>

이것이 바로 암호화 네이티브 AI 인프라의 핵심입니다. 향후 수십억 개의 AI 추론 작업을 지원할 것입니다. 많은 AI 레이어1 또는 레이어2는 개발자에게 기본적으로 온체인에서 AI 추론을 호출할 수 있는 기능을 제공합니다. 시장 선두주자로는 Ritual, Valence, Fetch.ai가 있습니다.

이러한 네트워크는 다음과 같은 점에서 다릅니다.

1. 1. 성능(지연 시간, 계산 시간)

   2. 지원되는 모델

   3. 검증 가능성

   4. 가격(체인 소비 비용, 추론 비용)

   5. 개발 경험

   < strong>3.1 목표

   이상적으로 개발자는 통합 과정에서 거의 또는 전혀 지장을 받지 않고 어디서나 모든 형태의 증명을 통해 맞춤형 AI 추론 서비스에 쉽게 액세스할 수 있습니다.

   추론 네트워크는 온디맨드 증명 생성 및 검증, 추론 계산 수행, 추론 데이터 릴레이 및 검증, 웹2 및 웹3 인터페이스 제공, 원클릭 모델 배포, 시스템 모니터링, 교차 체인 운영, 동기화된 통합 및 시간 지정 실행 등 개발자에게 필요한 모든 기본 지원을 제공합니다.

   

   출처: IOSG

   개발자는 이러한 기능을 통해 추론 서비스를 기존 스마트 컨트랙트에 원활하게 통합할 수 있습니다. 예를 들어, 디파이 트레이딩 봇을 구축할 때 머신러닝 모델을 사용하여 특정 쌍을 매수 및 매도할 시점을 찾고 기본 트레이딩 플랫폼에서 해당 트레이딩 전략을 실행할 수 있습니다.

   완전히 이상적인 세계에서는 모든 인프라가 클라우드에서 호스팅됩니다. 개발자는 트레이딩 전략 모델을 토치와 같은 공통 형식으로 업로드하기만 하면 추론 네트워크가 웹2 및 웹3 쿼리에 대한 모델을 저장하고 제공합니다.

   모든 모델 배포 단계가 완료되면 개발자는 Web3 API 또는 스마트 컨트랙트를 통해 직접 모델 추론을 호출할 수 있습니다. 추론 네트워크는 이러한 트레이딩 전략을 지속적으로 실행하고 그 결과를 기본 스마트 컨트랙트에 피드백합니다. 개발자가 대량의 커뮤니티 자금을 관리하는 경우, 추론 결과에 대한 검증도 제공해야 합니다. 추론 결과가 수신되면 스마트 콘트랙트는 해당 결과를 기반으로 거래합니다.

   

   출처: IOSG 벤처

     3.1.1 비동기 대 동기

   이론적으로 비동기식 추론 연산이 더 나은 성능으로 이어질 수 있지만, 개발 환경 측면에서 이 접근 방식은 불편할 수 있습니다.

   비동기 접근 방식을 사용할 때 개발자는 먼저 추론 네트워크의 스마트 컨트랙트에 작업을 제출해야 합니다. 추론 작업이 완료되면 추론 네트워크의 스마트 컨트랙트가 결과를 반환합니다. 이 프로그래밍 모델에서 로직은 추론 호출과 추론 결과 처리의 두 부분으로 나뉩니다.

   

   출처: IOSG

   개발자가 중첩된 추론 호출과 많은 제어 로직을 사용하면 문제가 더 심각해집니다.

   

   출처: IOSG 벤처

   비동기 프로그래밍 모델은 기존 스마트 컨트랙트와 통합하기 어렵습니다. 개발자는 오류 처리와 종속성 관리를 위해 많은 추가 코드를 작성해야 합니다.

   반면, 동기식 프로그래밍은 개발자에게 더 직관적이지만 응답 시간 및 블록체인 설계에 문제가 발생합니다. 예를 들어, 입력 데이터가 블록 시간이나 가격처럼 빠르게 움직이는 데이터인 경우 추론이 완료된 후 데이터가 더 이상 최신이 아니므로 특정 상황에서 스마트 컨트랙트의 실행을 롤백해야 할 수 있습니다. 오래된 가격으로 거래를 한다고 상상해 보겠습니다.

   

   출처: IOSG 벤처

   대부분의 AI 인프라는 비동기 처리를 사용하지만 Valence는 이러한 문제를 해결하기 위해 노력하고 있습니다.

   3.2 현실

   실제로 Ritual 네트워크와 같은 많은 새로운 추론 네트워크가 아직 베타 버전에 머물러 있습니다. 공개 문서에 따르면 이러한 네트워크는 현재 더 제한된 기능을 가지고 있습니다(검증 및 증명과 같은 기능은 아직 사용되지 않음). 온체인 AI 연산을 지원하기 위한 클라우드 인프라를 제공하는 대신, 현재 자체 호스팅 AI 연산을 위한 프레임워크를 제공하고 결과를 체인에 전달하고 있습니다.

   이것이 AIGC NFT를 실행하는 아키텍처입니다. 확산 모델은 NFT를 생성하여 Arweave에 업로드합니다. 추론 네트워크는 이 Arweave 주소를 사용하여 NFT를 체인에 캐스팅합니다.

   
   

   출처: IOSG;Ventures

   이 과정은 매우 복잡하며 개발자는 맞춤형 서비스가 있는 Ritual 노드와 같은 대부분의 인프라를 직접 배포하고 유지해야 합니다. 맞춤형 서비스 로직이 있는 리추얼 노드, 스테이블 디퓨전 노드, NFT 스마트 컨트랙트.

   권장사항: 현재의 추론 네트워크는 사용자 정의 모델을 통합하고 배포하기 복잡하며, 대부분 현 단계에서 검증을 지원하지 않습니다. AI 기술을 프런트엔드에 적용하면 개발자에게 비교적 간단한 옵션을 제공할 수 있습니다. 유효성 검사에 대한 강력한 요구가 있다면 ZKML 제공업체인 Giza를 선택하는 것이 좋습니다.

   

   4. 프록시 네트워크

   5. strong>

   프록시 네트워크를 통해 사용자는 프록시를 쉽게 사용자 지정할 수 있습니다. 이러한 네트워크는 사람의 직접적인 개입 없이 자율적으로 작업을 수행하고, 서로 상호 운용하며, 블록체인 네트워크와 상호작용할 수 있는 엔티티 또는 스마트 콘트랙트로 구성됩니다. 주로 LLM 기술을 대상으로 합니다. 예를 들어, 이더리움에 대한 인사이트를 제공하는 GPT 챗봇을 제공할 수 있습니다. 이 챗봇은 현재 도구가 제한되어 있으며 개발자는 아직 이를 기반으로 복잡한 애플리케이션을 개발할 수 없습니다.

   

   출처: IOSG

   하지만 앞으로 상담원 네트워크는 상담원이 지식뿐만 아니라 외부 API를 호출하고 특정 작업을 수행하는 등 더 많은 도구를 사용할 수 있도록 제공할 것입니다. 개발자는 여러 에이전트를 연결하여 워크플로를 구축할 수 있습니다. 예를 들어, 솔리디티 스마트 컨트랙트를 작성하려면 프로토콜 설계 에이전트, 솔리디티 개발 에이전트, 코드 보안 검토 에이전트, 솔리디티 배포 에이전트 등 여러 전문 에이전트가 필요합니다.

   

   우리는 힌트와 시나리오를 사용하여 이러한 에이전트의 협업을 조율합니다.

   에이전트 네트워크의 예로는 Flock.ai, Myshell, Theoriq 등이 있습니다.

   권고 사항: 오늘날의 에이전트 대부분은 상대적으로 제한적입니다. 특정 사용 사례의 경우 웹2 프록시가 더 적합하며 Langchain, Llamaindex와 같은 검증된 오케스트레이션 도구가 있습니다.

   

   5. 에이전트 네트워크와 추론 네트워크의 차이점

   에이전트 네트워크는 LLM에 더 중점을 두고 있으며 다음과 같은 도구를 제공합니다. 여러 프록시를 통합하는 도구와 같은 랭체인. 에이전트 네트워크는 모델 개발 및 배포 프로세스를 간소화하여 개발자가 직접 머신러닝 모델을 개발할 필요가 없는 경우가 많습니다. 필요한 에이전트와 도구만 연결하면 됩니다. 대부분의 경우 최종 사용자는 이러한 에이전트를 직접 사용합니다.

   반면 추론 네트워크는 에이전트 네트워크의 인프라 중추입니다. 개발자에게 더 낮은 수준의 액세스를 제공합니다. 일반적으로 최종 사용자는 추론 네트워크를 직접 사용하지 않습니다. 개발자는 LLM에 국한되지 않는 자체 모델을 배포해야 하며, 오프체인 또는 온체인 액세스 포인트를 통해 이를 사용할 수 있습니다.

   프록시 네트워크와 추론 네트워크는 완전히 별개의 제품이 아닙니다. 수직적으로 통합된 제품들이 등장하기 시작했습니다. 이러한 제품들은 에이전트와 추론 기능을 모두 제공하며, 두 기능 모두 유사한 인프라에 의존하기 때문입니다.

   

   

   6.새로운 기회의 땅

   모델 추론, 훈련, 에이전트 네트워크 외에도 웹3.0 공간에는 탐색할 가치가 있는 새로운 영역이 많이 있습니다.

   • 데이터세트: 블록체인 데이터를 머신 러닝에 사용할 수 있는 데이터세트로 바꾸는 방법은 무엇인가요? 머신러닝 개발자는 보다 구체적이고 주제에 맞는 데이터가 필요합니다. 예를 들어, 기자는 머신러닝 트레이닝을 위해 특별히 탈중앙 금융에 대한 고품질 데이터 세트를 다수 제공합니다. 이상적인 데이터는 단순한 표 형식의 데이터를 넘어 블록체인 세계의 상호작용을 묘사하는 그래픽 데이터를 포함해야 합니다. 현재로서는 이 부분이 부족합니다. 현재 개인 데이터의 프라이버시 보호를 약속하는 베이글과 사하라와 같은 일부 프로젝트는 새로운 데이터 세트를 생성하는 개인에게 보상을 제공함으로써 이 문제를 해결하고 있습니다.

   • 모델 스토리지: 일부 모델은 방대한 양이며, 이를 저장, 배포, 버전 관리하는 방식은 체인에서 머신러닝의 성능과 비용의 핵심입니다. 파일코인, AR, 0g와 같은 선구적인 프로젝트들이 이 분야에서 진전을 이루었습니다.

   • 모델 훈련: 분산되고 검증 가능한 모델 훈련은 어려운 과제이며, Gensyn, Bittensor, Flock, Allora에서 주목할 만한 발전이 있었습니다.

   • 모니터링: 모델 추론은 온체인과 오프체인 모두에서 발생하므로, 웹3 개발자가 모델 사용을 추적하고 잠재적인 문제와 편견을 식별하는 데 도움이 되는 새로운 인프라가 필요합니다. 올바른 모니터링 도구를 사용하면 웹3.0의 머신 러닝 개발자는 적시에 조정하여 모델 정확도를 지속적으로 최적화할 수 있습니다.

   • RAG 인프라: 분산 RAG는 데이터 프라이버시와 보안을 보장하면서 스토리지, 임베디드 컴퓨팅, 벡터 데이터베이스에 대한 높은 요구 사항을 가진 완전히 새로운 인프라 환경을 필요로 합니다. 이는 퍼스트배치나 베이글과 같이 대부분 타사에 의존하는 현재의 Web3 AI 인프라와는 매우 다릅니다.

   • 웹3에 맞춤화된 모델: 모든 모델이 웹3에 적합한 것은 아닙니다. 모든 모델이 Web3 시나리오에 적합한 것은 아닙니다. 대부분의 경우 가격 예측, 추천 등과 같은 특정 애플리케이션에 맞게 모델을 다시 학습시켜야 합니다. AI 인프라가 급성장함에 따라 앞으로는 더 많은 웹3 네이티브 모델이 AI 애플리케이션을 지원할 것으로 예상됩니다. 예를 들어 Pond는 가격 예측, 추천, 사기 탐지, 자금세탁 방지 등 다양한 시나리오를 위한 블록체인 GNN을 개발하고 있습니다.

   • 네트워크 평가: 사람의 피드백이 없는 상태에서 에이전트를 평가하는 것은 쉽지 않습니다. 상담원 생성 툴이 대중화됨에 따라 수많은 상담원이 시장에 출시될 것입니다. 이를 위해서는 이러한 에이전트의 역량을 입증하고 사용자가 주어진 상황에서 어떤 에이전트가 가장 우수한 성과를 내는지 판단할 수 있도록 도와주는 시스템이 필요합니다. 예를 들어 Neuronets는 이 분야의 플레이어입니다.

   • 합의 메커니즘: AI 작업의 경우 PoS가 항상 최선의 선택은 아닙니다. 계산 복잡성, 검증의 어려움, 확실성의 부족은 작업 증명 방식이 직면한 주요 과제입니다. 비텐서는 네트워크의 노드가 머신러닝 모델과 결과에 기여한 것에 대해 보상하는 새로운 지능형 합의 메커니즘을 만들었습니다.

   

   < strong>7. 향후 전망

   우리는 현재 수직적 통합을 지향하는 추세를 관찰하고 있습니다. 웹은 기본 컴퓨팅 계층을 구축함으로써 학습, 추론, 에이전트 웹 서비스 등 광범위한 머신 러닝 작업을 지원할 수 있습니다. 이 모델은 Web3의 머신 러닝 개발자를 위한 포괄적인 원스톱 솔루션이 될 것입니다.

   현재 온체인 추론은 비용이 많이 들고 느리지만, 검증 가능성이 뛰어나고 스마트 계약과 같은 백엔드 시스템과의 원활한 통합을 제공합니다. 미래에는 하이브리드 애플리케이션의 방식으로 갈 것이라고 생각합니다. 추론 처리의 일부는 프론트엔드 또는 오프체인에서 이루어지고, 중요한 의사 결정 추론은 온체인에서 이루어질 것입니다. 이 모델은 이미 모바일 디바이스에서 사용되고 있습니다. 모바일 기기의 특성을 활용하면 소규모 모델은 로컬에서 빠르게 실행하고 더 복잡한 작업은 클라우드로 마이그레이션하여 대규모 LLM 처리를 활용할 수 있습니다.