IOSG｜GPU 공급 위기: AI 스타트업이 돌파구를 찾는 길

모히트 판디트, IOSG 벤처스

Abstract

• GPU 부족은 현실이며 공급과 수요는 타이트하지만 활용도가 낮은 GPU의 수는 오늘날의 타이트한 공급을 충족시킬 수 있습니다.

• 클라우드 참여를 촉진하고 궁극적으로 추론이나 훈련에 사용되는 계산 작업을 조율하는 인센티브 계층이 필요합니다. DePIN 모델이 바로 이러한 목적에 적합합니다.

• 공급 측면의 인센티브와 낮은 계산 비용으로 인해 수요 측면에서는 이를 매력적으로 여깁니다.

• 모든 것이 장밋빛인 것은 아니며, Web3 클라우드를 선택할 때 '지연 시간'과 같은 특정 절충점을 고려해야 하는 경우도 있습니다. 또한 보험, 서비스 수준 계약 등에서도 기존 GPU 클라우드와 비교하여 장단점이 있습니다.

• DEPIN 모델은 GPU 가용성 문제를 해결할 수 있는 잠재력을 가지고 있지만, 조각화 모델은 이 문제를 개선하지 못합니다. 수요가 기하급수적으로 증가하는 상황에서 파편화된 공급은 공급이 전혀 없는 것과 마찬가지입니다.

• 새로운 시장 참여자의 수를 고려할 때 시장 통합은 불가피합니다.

소개

우리는 머신러닝과 인공지능의 새로운 시대의 정점에 서 있습니다. 인공지능은 한동안 다양한 형태로 존재해 왔지만(인공지능은 세탁기와 같이 인간이 할 수 있는 일을 지시받아 수행하는 컴퓨터 장치), 이제 우리는 지능적인 인간의 행동이 필요한 작업을 수행할 수 있는 복잡한 인지 모델의 출현을 목격하고 있습니다. 주목할 만한 예로는 OpenAI의 GPT-4와 DALL-E 2, Google의 Gemini 등이 있습니다.

급성장하는 인공지능(AI) 분야에서는 모델 훈련과 추론이라는 두 가지 개발 측면을 인식하는 것이 중요합니다. 추론은 AI 모델의 기능과 출력을 포함하며, 훈련은 지능형 모델을 구축하는 데 필요한 복잡한 프로세스(머신러닝 알고리즘, 데이터 세트, 연산 능력 포함)를 포함합니다.

예를 들어, GPT-4의 경우 최종 사용자가 관심을 갖는 것은 텍스트 입력을 기반으로 모델에서 출력을 얻는 추론뿐입니다. 그러나 이러한 추론의 품질은 모델 학습에 따라 달라집니다. 효과적인 AI 모델을 학습시키려면 개발자는 포괄적인 기본 데이터 세트와 막대한 연산 능력이 필요합니다. 이러한 리소스는 대부분 OpenAI, Google, Microsoft, AWS 등 업계 대기업에 집중되어 있습니다.

공식은 간단합니다. 더 나은 모델 학습은 AI 모델의 추론 능력 향상으로 이어지고, 이는 더 많은 사용자 유치로 이어지며, 더 많은 수익과 추가 학습을 위한 더 많은 리소스로 이어집니다.

대규모의 기본 데이터 세트에 액세스하고 더 중요한 것은 대량의 연산 능력을 제어할 수 있는 이러한 메이저 플레이어의 능력은 신생 개발자에게 진입 장벽을 조성합니다. 그 결과, 신규 참가자들은 충분한 데이터에 액세스하거나 경제적으로 실행 가능한 규모와 비용으로 필요한 컴퓨팅 파워를 활용하기가 어려운 경우가 많습니다. 이러한 상황을 고려할 때, 웹은 주로 대규모 컴퓨팅 리소스에 대한 접근과 비용 절감과 관련된 리소스에 대한 접근을 민주화한다는 점에서 큰 가치를 지니고 있습니다.

GPU 공급 문제

CES 2019에서 엔비디아의 CEO인 젠슨 황(Jensen Huang)은 다음과 같이 말했습니다. "무어의 법칙은 끝났다". 오늘날의 GPU는 활용도가 극도로 낮습니다. 딥 러닝/트레이닝 주기에서도 GPU는 활용도가 낮습니다.

다음은 다양한 워크로드에 대한 일반적인 GPU 사용률 수치입니다.

• 유휴 상태(방금 부팅한 상태): 0~2%

. Windows): 0-2%

• 일반 생산성 작업(쓰기, 간단한 탐색): 0-15%

• 비디오 재생: 15 - 35%< /p>

• PC 게임: 25 - 95%

• 그래픽 디자인/사진 편집 활성 작업량(포토샵, 일러스트레이터): 15 - 55%

• 비디오 편집(활성): 15 - 55%

• 비디오 편집(렌더링): 33 - 100%

• 비디오 편집(렌더링).

  3D 렌더링(CUDA/옵틱스): 33 - 100%(종종 Win 작업 관리자 오류로 보고 - GPU-Z 사용)

대부분의 GPU를 탑재한 소비자 기기가 이 범주에 속합니다. 처음 세 가지 범주에 속합니다.

GPU 런타임 사용률 %. 출처. : 가중치와 편향

위 표는 컴퓨팅 리소스의 낮은 활용률이라는 문제를 지적합니다.

소비자 GPU 용량을 더 잘 활용해야 하는데, GPU 사용률이 급증할 때에도 최적이 아닌 경우가 많습니다. 이를 통해 앞으로 해야 할 두 가지 일이 명확해졌습니다.

1. 리소스(GPU) 집계

2. 트레이닝 작업의 병렬화

사용할 수 있는 하드웨어 유형은 현재 프로비저닝에 사용되는 네 가지 유형이 있습니다.

- 데이터 센터 GPU(예. Nvidia A100s)

-     소비자 GPU(예: Nvidia RTX3060)

-   맞춤형 ASIC. (예: Coreweave IPU)

- 소비자 SoC(예: Apple M2)

(특정 용도로 제작되었으므로) ASIC 외에도 다른 하드웨어를 풀링하여 가장 효율적으로 사용할 수 있습니다. 이러한 칩 중 상당수가 소비자와 데이터 센터의 손에 있기 때문에 공급 측면의 DePIN 모델을 통합하는 것이 실행 가능한 경로가 될 수 있습니다.

GPU 생산은 볼륨 피라미드 구조로, 소비자용 GPU가 가장 많이 생산되는 반면 NVIDIA의 A100 및 H100과 같은 고급 GPU는 가장 적게 생산되지만 성능은 더 높습니다. 이러한 고급 칩을 생산하는 데는 소비자용 GPU보다 15배 더 많은 비용이 들지만, 때로는 15배의 성능을 제공하지 못하기도 합니다.

전체 클라우드 컴퓨팅 시장은 현재 약 4,830억 달러 규모이며 향후 몇 년 동안 약 27%의 연평균 성장률(CAGR)로 성장할 것으로 예상됩니다. 2023년까지 약 130억 시간의 ML 컴퓨팅에 대한 수요가 발생할 것이며, 이는 현재 표준 요금 기준으로 2023년 ML 컴퓨팅에 대한 지출이 약 560억 달러에 달할 것으로 예상됩니다. 이 전체 시장 역시 3개월마다 2배씩 빠르게 성장하고 있습니다.

GPU 수요

컴퓨팅 수요는 주로 AI 개발자(연구자 및 엔지니어)로부터 발생합니다. 이들의 주요 요구 사항은 가격(저비용 컴퓨팅), 규모(많은 GPU 컴퓨팅), 사용자 경험(접근 및 사용 편의성)입니다. 지난 2년 동안 AI 기반 애플리케이션에 대한 수요 증가와 ML 모델 개발로 인해 GPU에 대한 수요가 크게 증가했습니다. ML 모델을 개발하고 실행하려면 다음이 필요합니다.

1. 대량의 연산(여러 GPU 또는 데이터센터에 액세스하여)

2. 모델 훈련, 미세 조정 및 추론을 수행할 수 있으며, 각 작업을 다수의 GPU에 병렬로 배치

컴퓨팅 관련 하드웨어 지출은 2021년 170억 달러에서 2025년 2850억 달러로 약 102% 증가할 것으로 예상됩니다. 2,850억 달러(연평균 성장률 약 102%)로, ARK는 2030년까지 컴퓨팅 관련 하드웨어 지출이 1조 7,000억 달러(연평균 성장률 43%)에 이를 것으로 예상하고 있습니다.

ARK Research

혁신 단계에 있는 수많은 LLM, 경쟁으로 인한 더 많은 매개변수에 대한 계산 필요성, 재교육으로 인해 향후 몇 년간 고품질 계산에 대한 수요가 지속될 것으로 예상됩니다.

새로운 GPU의 공급이 줄어들면서 블록체인은 어떤 역할을 하게 될까요?

사용할 자원이 부족할 때 DePIN 모델이 도움을 줍니다.

1. 대량 공급을 위한 공급 측 시작

2. 작업 조정 및 완료

3. 작업이 올바르게 완료되었는지 확인

4. 작업 완료에 대한 올바른 보상 제공

소비자, 기업, 고성능 등 모든 유형의 GPU를 통합하는 것은 활용 측면에서 문제가 될 수 있습니다. 컴퓨팅 작업이 세분화될 때 A100 칩은 단순한 계산을 수행해서는 안 되며, GPU 네트워크는 시장 진입 전략에 따라 네트워크에 포함해야 한다고 생각하는 GPU 유형을 결정해야 합니다.

컴퓨팅 리소스 자체가 세분화된 경우(때로는 전 세계적으로), 어떤 유형의 컴퓨팅 프레임워크를 사용할지 사용자 또는 프로토콜 자체에서 선택해야 합니다. io.net과 같은 공급자는 사용자가 3가지 컴퓨팅 프레임워크 중에서 선택할 수 있도록 합니다: 레이, 메가레이 또는 컨테이너에서 컴퓨팅 작업을 수행하기 위한 Kubernetes 클러스터 배포. Apache Spark와 같은 더 많은 분산 컴퓨팅 프레임워크가 있지만, 가장 일반적으로 사용되는 것은 Ray입니다. 선택한 GPU가 계산 작업을 완료하면 학습된 모델을 제공하기 위해 출력이 재구성됩니다.

잘 설계된 토큰 모델은 GPU 공급자의 계산 비용을 보조할 수 있으며, 많은 개발자(수요 측)는 이러한 솔루션이 더 매력적이라고 생각할 것입니다. 분산 컴퓨팅 시스템에는 본질적으로 지연 시간이 존재합니다. 계산 분해와 출력 재구성이 존재합니다. 따라서 개발자는 모델 학습의 비용 효율성과 필요한 시간 사이에서 절충점을 찾아야 합니다.

분산형 컴퓨팅 시스템에는 자체 체인이 필요한가요?

네트워크는 두 가지 방식으로 작동합니다.

1. 작업(또는 컴퓨팅 주기) 당 과금 또는 시간

2. 시간 단위로

첫 번째 접근 방식은 Gensyn에서 시도한 것과 유사한 작업 증명 체인을 구성할 수 있게 해줍니다. 가 '작업'을 공유하고 그에 대한 보상을 받는 방식입니다. 보다 신뢰가 필요 없는 모델에는 솔버가 생성한 증명에 따라 시스템을 온전하게 유지하는 것에 대한 보상을 받는 검증자 및 정보 제공자라는 개념이 있습니다.

또 다른 작업 증명 시스템으로는 작업 분할 대신 전체 GPU 네트워크를 하나의 슈퍼컴퓨터로 취급하는 Exabits가 있습니다. 이 모델은 대규모 LLM에 더 적합한 것으로 보입니다.

아카시 네트워크는 GPU 지원을 추가하고 이 공간에 GPU를 통합하기 시작했습니다. 여기에는 상태(GPU 공급자가 수행한 작업을 표시)를 합의하는 기본 L1, 마켓플레이스 레이어, 사용자 애플리케이션의 배포와 확장을 관리하는 쿠버네티스나 도커 스웜과 같은 컨테이너 오케스트레이션 시스템이 있습니다.

작업 증명 체인 모델은 시스템이 신뢰할 수 없는 경우에 가장 잘 작동합니다. 이는 프로토콜의 조정과 무결성을 보장합니다.

반면, io.net과 같은 시스템은 스스로를 체인으로 구축하지 않습니다. 이들은 GPU 가용성이라는 핵심 문제를 해결하고 고객에게 단위 시간당(시간당) 요금을 부과하는 방식을 선택합니다. 이들은 본질적으로 특정 임대 기간 동안 원하는 대로 사용할 수 있도록 GPU를 '임대'하기 때문에 검증 가능성 계층이 필요하지 않습니다. 프로토콜 자체에는 작업 분할이 없으며, 이는 개발자가 Ray, Mega-Ray 또는 Kubernetes와 같은 오픈 소스 프레임워크를 사용하여 수행합니다.

Web2와 Web3 GPU 클라우드

Web2에는 GPU 클라우드 또는 서비스형 GPU 영역에 다수의 플레이어가 있습니다. 이 분야의 주요 업체로는 AWS, CoreWeave, PaperSpace, Jarvis Labs, Lambda Labs, Google Cloud, Microsoft Azure, OVH Cloud 등이 있습니다.

이것은 전통적인 클라우드 비즈니스 모델로, 고객이 컴퓨팅이 필요할 때 시간 단위(보통 1시간)로 GPU(또는 여러 개의 GPU)를 대여할 수 있습니다. 다양한 사용 사례에 맞는 다양한 솔루션이 있습니다.

웹2와 웹3 GPU 클라우드의 주요 차이점은 다음과 같습니다.

1. 클라우드 설정 비용

토큰 인센티브로 인해 GPU 클라우드 설정 비용이 크게 낮아졌습니다.OpenAI는 컴퓨팅 칩 생산을 위해 1조 달러를 모금하고 있습니다. 토큰 인센티브 없이 시장 리더를 이기려면 최소 1조 달러가 필요할 것으로 보입니다.

2. 컴퓨팅 시간

비웹3 GPU 클라우드는 임대 GPU 클러스터가 지리적 영역에 위치하기 때문에 더 빠르지만 웹3 모델은 비효율적인 문제 세분화, 부하 분산, 그리고 가장 중요한 대역폭으로 인해 지연 시간이 발생할 수 있는 더 광범위하게 분산된 시스템입니다.

3. 계산 비용

웹3 계산은 토큰 인센티브로 인해 기존 웹2 모델보다 훨씬 저렴할 것입니다.

컴퓨팅 비용 비교:

이 수치는 이러한 GPU에 대한 더 많은 공급 및 활용 클러스터가 제공됨에 따라 변경될 수 있습니다.Gensyn은 시간당 $0.55의 낮은 비용으로 A100(및 이와 동등한 제품)을 제공한다고 주장하며, Exabits도 비슷한 비용 절감 구조를 약속합니다.

4. 규정 준수

라이센스가 없는 시스템에서는 규정 준수가 쉽지 않습니다. 그러나 io.net, Gensyn 등과 같은 Web3 시스템은 라이선스 없는 시스템으로 자리매김하지 못합니다. GDPR 및 HIPAA와 같은 규정 준수 문제는 GPU 온보딩, 데이터 로딩, 데이터 공유 및 결과 공유 단계에서 처리됩니다.

생태계

Gensyn, io.net, Exabits, Akash

위험

1. 수요 위험

최고 LLM 플레이어들은 계속해서 GPU를 축적하거나 최고 성능 2.8 엑사플롭/s의 NVIDIA 셀레네 슈퍼컴퓨터와 같은 GPU 클러스터를 사용할 것이라고 생각합니다. 현재 최고의 AI 조직은 비용보다 품질로 경쟁하고 있으며, 소비자나 롱테일 클라우드 제공업체에 의존해 GPU를 풀링하지 않을 것입니다.

중량이 많지 않은 ML 모델의 경우, 이들은 기존 GPU를 최적화하면서 제공할 수 있는 블록체인 기반 토큰 인센티브 GPU 클러스터와 같은 저렴한 컴퓨팅 리소스를 찾을 것입니다(위는 가정입니다. 이러한 조직은 LLM을 사용하는 것보다 자체 모델을 훈련하는 것을 선호합니다)

2. 공급 위험

ASIC 연구에 많은 자본이 투자되고 텐서 처리 장치(TPU)와 같은 발명품이 나오면 이 GPU 공급 문제는 저절로 사라질 수 있습니다. 이러한 ASIC이 좋은 성능:비용 균형을 제공할 수 있다면 대규모 AI 조직이 비축한 기존 GPU가 다시 시장에 출시될 수 있습니다.

블록체인 기반 GPU 클러스터링이 장기적인 문제를 해결할 수 있을까요? 블록체인은 GPU를 제외한 모든 칩을 지원할 수 있지만, 수요 측에서 어떻게 하느냐에 따라 이 분야의 프로젝트 방향이 완전히 결정될 것입니다.

결론

작은 GPU 클러스터를 가진 파편화된 네트워크는 문제를 해결하지 못할 것입니다. "롱테일" GPU 클러스터를 위한 자리는 없습니다. . 이는 좋은 토큰 모델과 다양한 컴퓨팅 유형을 지원하는 공급자의 능력에 따라 달라질 것입니다.

GPU 클러스터도 CDN과 비슷한 집적의 운명을 맞이할 수 있습니다. 대형 업체가 AWS와 같은 기존 선두업체와 경쟁하려면 네트워크 지연 시간과 노드의 지리적 근접성을 줄이기 위해 리소스를 공유하기 시작할 수 있습니다.

수요 측면이 훨씬 더 커지면(학습할 모델, 학습할 매개변수 수가 많아지면) Web3 플레이어는 공급 측면의 비즈니스 개발에 매우 공격적으로 나서야 할 것입니다. 동일한 고객 기반에서 경쟁하는 클러스터가 너무 많으면 공급이 파편화되고(전체 개념이 무효화됨) 수요는 기하급수적으로 증가하게 됩니다(TFLOPs 단위로).

Io.net은 애그리게이터 모델로 시작하여 다른 업체들과 차별화했습니다. 렌더 네트워크와 파일코인 채굴자의 GPU를 모아 용량을 제공하는 동시에 자체 플랫폼에서 공급을 부트스트랩했습니다. 이는 디핀 GPU 클러스터링의 성공적인 방향이 될 수 있습니다.

Part.2. IOSG 투자 후 프로젝트 진행 상황

EigenLayer TVL, 100억 달러 돌파

* 리스테이크

이더넷에 따르면 리플레징 계약 EigenLayer의 공식 웹사이트에 따르면, EigenLayer TVL은 약 293만 ETH, 약 100억 5천만 달러에 해당합니다.

OKX Web3 월렛, 바빌론 테스트 서약의 공식 월렛 파트너가 되다

* 스테이킹

OKX Web3 월렛이 바빌론 테스트 네트워크 서약 캠페인의 공식 파트너 월렛이 되었습니다. 2월 28일부터 2024년 3월 6일까지 바빌론 테스트넷 서약 캠페인에 참여하는 사용자 중 선착순 10만 명은 한정된 기간 동안 헤럴드 패스 화이트리스트에 참여할 수 있습니다. 화이트리스트 자격을 갖춘 사용자는 2024년 3월 7일부터 OKX Web3 지갑 NFT 마켓플레이스의 드롭스 섹션에서 캐스팅할 수 있습니다.

바빌론 체인은 탈중앙화 경제를 보호하기 위해 2100만 비트코인을 잠금 해제하는 최초의 신뢰 없는 비트코인 서약 프로토콜로 알려져 있으며, OKX 웹3 월렛은 업계 최고의 웹3 원스톱 포털로 현재 85개 이상의 퍼블릭 체인을 지원하며 앱, 플러그인, 웹페이지의 통합된 트리플 플레이로 지갑을 포괄하는 지갑입니다, DEX, DeFi, NFT 마켓, DApp 탐색의 5가지 주요 섹션을 다루며, 오디널스 마켓, MPC 및 AA 스마트 컨트랙트 월렛, 가스 교환, 하드웨어 월렛 연결 등을 지원합니다.

StarkWare, 거래 속도 향상 및 수수료 절감을 위한 새로운 암호화폐 거래 증명 'Stwo' 출시

StarkWare, 거래 속도 향상 및 수수료 절감을 위한 새로운 암호화폐 거래 증명 'Stwo' 출시

이더리움 레이어2 개발사인 스타크웨어는 목요일 이더덴버에서 새로운 암호화 개념증명인 Stwo를 구축하고 있다고 발표했습니다. Stwo라는 새로운 암호화 증명자를 구축하고 있다고 발표했습니다.StarkWare 팀은 더 빠른 증명자를 사용하면 거래 처리 비용이 더 저렴해져 실제로 사용자의 수수료가 낮아지고 거래 속도가 빨라질 것이라고 말했습니다.

지난 8월, 스탁웨어는 기존 증명자(스톤이라고 함)를 오픈소스로 공개했습니다. 보도자료에 따르면, 스톤과 투의 조합으로 명명된 새로운 증명자는 누구나 실행할 수 있고 코드베이스로 검사할 수 있으며, 스타크웨어는 현재 스톤을 사용하는 스타크넷 애플리케이션 체인이 궁극적으로 스투 증명자의 혜택을 받게 될 것이라고 밝혔습니다.

일주일 전, StarkWare와 Polygon은 제로 지식 집계(ZK 롤업) 트랜잭션을 더 빠르고 저렴하게 만들도록 설계된 새로운 유형의 암호화 증명인 Circle STARKS의 출시를 발표했습니다.

체인플레이 인프라 스타트업 READYgg, 델파이 디지털 등의 참여로 400만 달러의 펀딩 라운드 마감

strong>* 게임

체인플레이 인프라 스타트업 READYgg가 델파이 디지털, 네오도쿄, 메리트 서클과 함께 400만 달러 규모의 새로운 펀딩 라운드를 마감했다고 발표했습니다, 모멘텀6, 퓨어체인 캐피탈, 알렉스 베커, 토큰 메트릭스 벤처스 등이 라운드에 참여했지만, 이번 라운드에 대한 평가 정보는 공개되지 않았습니다.READYgg는 개발자가 게임에서 NFT, 암호화폐 지갑 및 기타 웹3 기술 도구를 구현하도록 돕는 데 중점을 두고 있으며," 플레이어에게 권한을 부여하는 커뮤니티 중심의 게임을 옹호합니다." 또한, 전 플레이스테이션 임원인 숀 레이든이 합류한다고 발표했으며, 숀 레이든은 기술 대기업인 텐센트에서 고문으로 일한 경력이 있는 것으로 알려져 있습니다.

이더리움 확장 프로젝트 타이코, 1,500만 달러 시리즈 A 유치

* ZK strong>

이더리움 확장 프로젝트인 타이코가 라이트스피드 팩션, 해시드, 제네레이티브 벤처스, 토큰베이 캐피탈이 주도하는 1,500만 달러 규모의 시리즈 A 라운드를 마감했습니다. 윈터뮤트 벤처스, 프레스토 랩스, 플로우 트레이더스, 앰버 그룹, OKX 벤처스, GSR, WW 벤처스 등 타이코는 세 차례의 펀딩을 통해 총 3700만 달러를 모금했으며, 탈중앙화된 타입 1 ZK-EVM입니다. 올해 1분기 말까지 메인넷을 출시할 계획입니다.

애벌랜치는 3월 7일 새벽에 메인넷에서 듀랑고 업그레이드를 활성화할 예정입니다

. strong>* Layer1

3월 7일 0:00 GMT에 애벌랜치 상호운용성 시대가 시작되며, 제안된 듀랑고 업그레이드를 위한 프로덕션 코드([email protected])가 공개되었습니다. 듀랑고 지원 서약이 충분할 경우 3월 7일 0시(GMT)에 메인 웹사이트에서 활성화됩니다. 또한, 오늘 발표된 애벌랜치 코리아의 공식 발표에 따르면 듀랑고 업그레이드 활성화는 3월 7일 0시(GMT)에 진행될 예정입니다.

듀랑고 업그레이드는 C체인에 애벌랜치 워프 메시징을 도입하여 애벌랜치의 고객과 소통하는 새로운 방법을 제공할 것으로 알려졌습니다. 애벌랜치 생태계의 각 EVM 체인에서 네이티브 크로스 체인 통신을 가능하게 하고 향후 가상 머신(VM)이 AWM을 사용할 수 있는 표준을 수립합니다.

Part.3. 투자 및 파이낸싱 이벤트

< /p>

인공지능 중심 블록체인 플랫폼 탈루스 네트워크, 폴리체인 캐피탈이 주도하는 300만 달러 펀딩 라운드 마감