a16z 제자 쿠즈코 실습 가이드 II: 워파이터에서 클러스터 배포까지

J1N, Techub News 제공

소개: 에포크 원투투

Kuzco. 는 올해 9월 9일 뉴욕에서 열린 크립토 스타트업 액셀러레이터(CSX) 가을 액셀러레이터 프로그램에 선정된 특수 서비스 LLM 대형 언어 모델 산술 채굴 네트워크이며, 이번 프로그램에서 선정되면 최소 50만 달러의 투자를 받을 수 있으며, a16z 운영팀의 지도와 지원을 받게 됩니다. a16z 운영팀의 멘토링과 지원을 받을 수 있습니다. 이제 액셀러레이터 프로그램이 마감되었습니다.

11월 16일, 쿠즈코는 에포크 원 인센티브 프로그램의 1단계가 2024년 11월 18일에 종료되며 모든 운영이 중단되고 데이터의 스냅샷이 영구 저장되며 최종 순위는 새로운 리더보드에 공개될 것이라고 발표했습니다.

공식적으로 공개된 에포크 원은 2024년 3월 6일부터 시작되었으며, 메타가 발표한 8B 사양의 라마-3 AI 빅 언어 모델을 실행하는 네트워크에서 최대 8,000개 이상의 디바이스 수와 총 1조 개 이상의 추론 토큰을 기록했습니다.

향후 몇 주 내에 프로젝트 개발을 위한 자금 정보와 로드맵을 발표하고, 12월 9일 인센티브 프로그램의 두 번째 단계(에포크 2)를 시작하며, 에포크 2는 NVIDIA 하드웨어의 처리량 및 안정성 향상과 같은 새로운 기능을 제공할 것입니다. 에포크 투는 엔비디아 하드웨어의 더 높은 처리량과 안정성, A100 및 H100과 같은 최고급 컴퓨팅 디바이스에 대한 액세스 장려, 더 많은 이미지 생성 및 멀티모달 언어 모델인 VLM 지원과 같은 새로운 기능을 제공합니다.

에포크 투 시작까지 아직 보름의 리드 타임이 있으므로 이 기사에서는 다음을 살펴봅니다.

• 단일 머신에서 클러스터로 개인 채굴의 사례와 결과를 공유합니다.

• 연구와 실습을 통해 자금 조달과 고사양 머신 구축의 전 과정을 시연합니다.

• 하드웨어 구성이 프로젝트 요구 사항에 어떻게 부합하는지 논의하고 투자자의 일반적인 질문에 답변합니다.

에포크 원 리뷰: 워파이터

구성을

펜 구성 이 목록에는 RTX 시리즈 그래픽 카드 2060, 2070S, 3080, 4060, 4060Ti와 4070S 4개, Apple M2 및 M3 장치 2개가 포함됩니다. 이 장치는 여러 대의 메인프레임, 노트북, 전용 채굴기에 분산되어 있습니다.

비용

이 그래픽 카드는 원래 필자가 과거에 매년 게임용으로 구입한 것이지 채굴용으로 특별히 구매한 것이 아니라는 점에 주목할 필요가 있습니다. 따라서 비용을 계산할 때 하드웨어 구매 비용은 고려하지 않았으며 채굴자의 실제 전기 비용에 대한 통계 만 고려했습니다. 이제 첫 번째 "a16z "제자" Kuzco 실용 가이드: 산술 채굴을 효율적으로 AI화하는 방법을 살펴보겠습니다. 조립된 채굴기를 예로 들어보겠습니다.

채굴기의 구성:

• 마더보드: z490(이후 산업용 보드로 교체)

• 마더보드: z490(이후 산업용 보드로 교체)

• CPU: 10세대 I9

• 그래픽: 2060, 2070s, 3080, 4060ti, 4070s

손 문지르기 채굴기

아래 그래프는 이 채굴기가 10월과 11월에 소비한 전력량으로 총 564kWh, 약 6억의 포인트(KZO 포인트)를 획득한 것을 보여줍니다. 모든 채굴기의 총합은 약 11억 포인트입니다. 정확한 전기 요금은 해당 지역의 전기 요금을 기준으로 하며, 여기서는 참고용으로만 제공됩니다.

그래프의 가장 오른쪽, 총 10억 포인트

에포크 2 준비: 클러스터 배포

저자가 첫 번째 글에서 공유한 내용을 기반으로 합니다. 첫 번째 글에서 공유한 내용과 장비 조립, 디버깅, 환경 구축에 직접 참여한 풍부한 O&M 경험을 바탕으로, 저는 일부 재정 지원을 성공적으로 확보하고 이를 모두 고성능 채굴기 조립에 투자하여 연산 능력 규모와 운영 효율성을 더욱 향상시켰습니다.

한 손으로 클러스터 배포까지

고사양 머신을 위한 구성 및 선택 로직

저자의 실무 경험과 결합하여 다음과 같이 설명합니다. 마더보드, CPU, 그래픽 카드, 전원 공급 장치, 플랫폼 및 네트워크 구성에 대한 Epoch One의 실무 경험은 완전히 최적화되었으며, 운영의 전반적인 안정성, 보안 및 효율성을 향상시킬뿐만 아니라 중고 시장의 유통에 더 중점을 둔 하드웨어 조합을 선택하는 데 더 적합한 하드웨어 조합을 선택했습니다. 이 전략은 실제 투자 비용을 효과적으로 줄이고 후속 참여자에게 보다 비용 효율적인 옵션을 제공합니다.

마더보드

성능, 안정성, 가격 대비 성능 등을 종합적으로 고려하여 메인스트림 B85 대신 산업용 마더보드를 선택했습니다.

성능 측면에서 Kuzco의 Llama-3 모델을 실행하려면 여러 개의 Docker 프로세스를 시작해야 하며 이러한 프로세스를 병렬로 실행하려면 많은 CPU 리소스를 차지하므로 B85 호환 CPU로는 충족할 수 없는 높은 수준의 CPU 성능이 필요합니다.

또한 산업용 마더보드는 장기적인 안정성, 내열성 및 제조업체 보증 측면에서 상당한 이점을 제공할 뿐만 아니라 중고 시장에서의 가용성이 높아 최적의 선택이 될 수 있습니다.

그래픽

다음 사항을 고려하여 4070S를 기본 그래픽 카드로 사용하기로 결정했습니다.

AI 컴퓨팅 성능 그 핵심적인 이유는 AI 계산은 카드의 CUDA 코어 수에 크게 의존하며 40 시리즈 카드가 30 시리즈 카드보다 훨씬 더 많은 CUDA 코어를 가지고 있기 때문입니다. 왼쪽;">4060Ti (160W): 0.125 토큰/W

테스트 결과, 4070S는 성능과 전력 소비의 균형 측면에서 가장 우수한 성능을 보였으며, 높은 에너지 효율성으로 전기 비용을 직접적으로 절감할 수 있어 가장 비용 효율적인 선택이었습니다.

중고 시장에서의 가격 및 이동성: 4070S는 중급에서 고급 그래픽 카드로서 중고 시장에서 높은 수준의 이동성과 가치 유지를 통해 장치의 소유 비용을 더욱 절감하는 동시에 후속 하드웨어 업그레이드에 대한 유연성을 제공합니다.

CPU

앞에서도 언급했듯이 Kuzco의 Llama-3는 여러 개의 도커를 실행해야 하므로, 특히 여러 카드를 실행할 때 CPU에 큰 부담을 줄 수 있습니다. 특히 여러 개의 카드를 실행하는 경우 CPU 사용량이 80~90%까지 높아질 수 있어 CPU 리소스를 많이 소모합니다. 따라서 멀티코어 및 멀티스레드 처리 기능이 특히 중요합니다. 고성능, 멀티 스레드의 안정적인 CPU는 멀티태스킹을 지원할 뿐만 아니라 전체 채굴 과정의 안정성과 효율성을 보장합니다.

사진의 사각형 상자에 대한 소프트 라우팅

채굴에서는 네트워크 환경도 중요한데, 고성능 그래픽 카드가 있어도 네트워크가 최적화되지 않으면 연산에 심각한 영향을 미칩니다. 저자의 실제 테스트에 따르면 네트워크 속도가 충분하지 않으면 연산 능력이 30%까지 떨어질 수 있고, 네트워크 노드의 품질이 낮으면 쿠즈코 네트워크에 연결할 수 없게 되는 등 두 가지 모두 채굴에 부적합한 결과를 초래할 수 있습니다. 이러한 문제를 해결하기 위해 저는 구성이 쉬울 뿐만 아니라 설정 후 사람의 개입이 거의 또는 전혀 없이 효율적으로 실행되며 이론적으로 무제한의 장치를 지원할 수 있는 소프트 라우팅 솔루션을 사용합니다. 인텔® 코어™ 프로세서의 최신 버전인 인텔® 코어™ 프로세서를 사용하면 애플리케이션을 위한 새롭고 효율적이며 안정적인 솔루션을 만들 수 있습니다.

전력

클래식 그레이트 월 2000w 원자력 전원 공급 장치

전원 공급 장치를 선택할 때는 특별히 주의를 기울여야 합니다. 그래서 7x4070S의 정격은 1540W임에도 불구하고 2000W 파워서플라이를 듀얼로 사용해 총 4000W를 사용했는데, 이는 자원 낭비가 아니라 기기의 안정성과 안전을 고려한 선택입니다.

비디오 카드는 작동 중에 특정 순간에 실제 전력 소비량이 정격 전력의 1.5배 이상이 되었다가 다시 정상으로 떨어지는 전력 스파이크가 발생할 수 있습니다. 전원 공급 장치가 이러한 피크에 대처할 수 있을 만큼 강력하지 않으면 전원 공급 장치의 강제 종료 메커니즘이 작동하거나 그래픽 카드가 손상될 수 있습니다. 이는 채굴기의 정상적인 작동에 치명적인 위협이 됩니다.

4070의 전력 성능

예를 들어 4070S의 정격 전력은 220W이지만 최대 전력 소비는 400W 이상이며, 7개의 카드를 합하면 최대 전력 소비는 3000W 이상일 수 있습니다. 7개의 그래픽 카드의 총 피크 전력 소비량은 3000W 이상에 달할 수 있으므로 듀얼 2000W 전원 공급 장치를 구성하여 안정적인 작동을 보장합니다. 특히 단일 4090의 정격 전력은 450W이고 최대 전력 소비량은 770W에 달할 수 있는 다중 4090의 경우 더욱 그렇습니다. 여러 개의 카드를 사용하면 두 개의 파워 서플라이로는 수요를 충족하기에 충분하지 않을 수 있으며 시스템 안정성을 보장하기 위해 세 개의 파워 서플라이가 필요한 경우가 많습니다.

4090 전력 소비

추가

이밖에 바이오스 설정, 하드웨어 호환성 및 원격 관리에 대해 몇 가지 의견을 덧붙이고 싶습니다. BIOS 설정, 하드웨어 호환성 및 원격 관리에 대해서는 너무 자세히 설명하지 않겠습니다. BIOS에는 이 작업을 수행하는 방법에 대한 무료 튜토리얼이 있으므로 튜토리얼을 따라 대부분의 문제를 해결할 수 있습니다. 하드웨어 구성 및 요구 사항에 따라 하드웨어를 확인하고 처리하는 것이 더 쉽고 효율적일 수 있습니다.

위험과 이점

가장 중요한 질문에 대한 답변: 매일 얼마나 파헤칠 수 있을까요? 솔직히 이 질문에 대한 명확한 답은 없습니다. 왜냐하면 위험과 보상은 항상 함께 가기 때문입니다. 제가 분명하게 말씀드릴 수 있는 것은 암호화폐 산업이든 전통적인 산업이든, 일일 수익을 정확하게 계산할 수 있는 프로젝트는 더 이상 큰 수익을 올릴 수 없다는 것입니다. 매우 저렴한 전기 비용이나 매우 저렴한 채굴 장비와 같은 특정 독점 자원이 있다면 수익률 측면에서 유리할 수 있습니다. 그러나 이러한 자원은 누구나 이용할 수 있는 것은 아닙니다.

저자는 투자 위험과 비용 부담을 줄이기 위해 유동성이 좋은 장비를 선택했습니다. 예를 들어 쿠즈코 채굴의 경우 비용은 하드웨어의 감가상각과 전기 요금에 집중되어 있으므로 최대 손실은 이러한 고정 비용으로 제한됩니다. 낮은 비용을 전제로 참여하지 않는다면 투자 결정은 잘못된 것입니다. 헤드 마이닝의 특성상 수익에 대한 명확한 기대치가 없다는 점을 강조해야 하지만, 바로 여기에 헤드 마이닝의 잠재력이 있습니다.

주관적인 관점에서 볼 때 이 트랙은 엄청난 시장 전망을 가지고 있습니다. 한편으로는 Kuzco가 a16z의 투자를 받고 있고, 다른 한편으로는 LLM 대형 언어 모델에 대한 수요가 빠르게 확대되고 있습니다. 반면에 LLM에 대한 수요는 빠르게 확대되고 있습니다. 생각해 보세요, LLM을 사용하지 않는 사람은 거의 없겠죠? OpenAI의 ChatGPT, Meta의 Llama, Musk의 XAI와 같은 플랫폼에 대한 연이은 높은 자금 조달은 이 산업의 성장 잠재력을 명확히 보여줍니다.

일반인이 AI 산업에 직접 참여하기는 쉽지 않습니다. 한편으로는 AI 기술의 문턱이 높고, 다른 한편으로는 AI 모델 학습에 막대한 자원과 자금이 필요하기 때문에 대부분의 사람들이 감당하기에는 너무 큰 부담입니다. 쿠즈코를 통해 AI 컴퓨팅 네트워크에 참여하면 일반인들도 이 고성장 분야에 쉽게 참여하여 관리 가능한 비용으로 수익을 얻으면서 AI 컴퓨팅 파워에 기여할 수 있습니다.

또한 비트코인 가격은 2022년 1만 6,000달러에서 현재 10만 달러 돌파를 목전에 두고 있으며, 그 뒤에는 엄청난 되돌림의 위험이 도사리고 있습니다. AI 프로젝트에서 직접 토큰을 구매하는 경우에도 마찬가지로 높은 변동성 위험에 직면하게 됩니다. 반면, AI 연산 네트워크에 참여하는 것은 비용이 명확하고 관리하기 쉬울 뿐만 아니라 상대적으로 낮은 위험으로 AI 산업의 높은 성장 궤도에 참여할 수 있다는 점에서 훨씬 더 강력한 옵션입니다. 이는 현재 환경에서 일반인이 AI 분야에 진출할 수 있는 가장 실용적인 방법 중 하나입니다.