Livepeer: Cách giới thiệu điện toán video AI trên mạng Livepeer

Tác giả: Doug Petkanics, Giám đốc điều hành Livepeer; Bản dịch: 0xxz@金财经

Giới thiệu

Khi mọi người phát hiện ra rằng mạng Livepeer có hàng nghìn GPU được sử dụng tích cực để chuyển mã mỗi tuần, Khi xem hàng triệu phút video, một trong những câu hỏi phổ biến nhất là liệu những GPU này có thể được sử dụng để thực hiện các loại tính toán khác hay không. Đặc biệt, với sự gia tăng của trí tuệ nhân tạo vào năm 2023 và sự gia tăng liên quan đến nhu cầu về GPU (phần cứng được sử dụng để thực hiện đào tạo và suy luận trí tuệ nhân tạo), người ta đương nhiên sẽ nghĩ rằng mạng Livepeer có thể sử dụng sức mạnh tính toán của mình để chuyển sang cơ sở hạ tầng trí tuệ nhân tạo. ., Hạ tầng AI tiêu tốn hàng tỷ USD. Hoạt động kinh doanh trung tâm dữ liệu của NVidia, nơi cung cấp GPU cho điện toán AI, đã chứng kiến ​​doanh thu tăng trưởng 14 tỷ USD chỉ trong quý trước, tăng từ mức 4 tỷ USD một năm trước đó.

Nguồn: Báo cáo hàng quý của NVidia qua @Thomas_Woodside trên X

Những người đưa ra những giả định này đều đúng - mạng Livepeer chắc chắn có thể được sử dụng bởi những người đang tìm kiếm quy trình xử lý AI mang tính đột phá, hiệu quả về mặt chi phí. Với sự gia tăng trong việc sử dụng video Livepeer thông qua Livepeer Studi trong những tháng gần đây và việc ra mắt các kho Livepeer mới do cộng đồng quản lý đã đặt nền móng, giờ là lúc đưa khả năng tính toán video AI cho Livepeer.

Các phần sau của bài viết này sẽ giải thích cách giới thiệu điện toán video trí tuệ nhân tạo trên mạng Livepeer, cũng như các kế hoạch, chiến lược và tiến trình để biến nó thành hiện thực.

Định vị sứ mệnh - Bộ lọc video

Nền tảng về sứ mệnh và cam kết của Livepeer

Livepeer vẫn cam kết thực hiện sứ mệnh của mình: xây dựng cơ sở hạ tầng video mở của thế giới. Các nền tảng điện toán khác cố gắng trở thành một thị trường loại "AWS trên blockchain" có mục đích chung hoặc "chạy bất kỳ loại tác vụ điện toán nào", nhưng điều này tạo ra những thách thức khi gia nhập thị trường do thiếu khả năng cho các giải pháp dành riêng cho ngành. Thay vào đó, Livepeer tập trung vào điện toán video thông qua chuyển mã và có thể xây dựng các sản phẩm và GTM được nhắm mục tiêu cho các ngành cụ thể (thị trường truyền phát video trị giá hơn 100 tỷ USD) để giải quyết các trường hợp sử dụng thực tế và khai thác các nhu cầu hiện có, thay vì tiếp thị cho không ai. .

Việc tập trung vào video có nghĩa là Livepeer tránh phản ứng thái quá và chuyển sang các xu hướng nóng mới nhất như ICO, NFT hoặc DeFi, thay vào đó luôn đặt câu hỏi làm cách nào để áp dụng những đổi mới này vào video. Mức cao không cao đến mức đó, nhưng quan trọng hơn, mức thấp cũng không thấp. Điều này cũng thu hút một nhóm và cộng đồng tập trung vào sứ mệnh có chuyên môn sâu về video, những người luôn hào hứng với những gì chúng tôi đang làm trong một thời gian dài, thay vì rời đi khi xu hướng của tháng này mất đi sức hấp dẫn của cộng đồng.

Hiện nay, không có xu hướng nào nóng hơn sự phát triển nhanh chóng của trí tuệ nhân tạo. Nhưng không giống như nhiều nhóm và dự án tiền điện tử, Livepeer không từ bỏ sứ mệnh của mình và “chuyển hướng sang trí tuệ nhân tạo”. Thay vào đó, chúng tôi đặt câu hỏi: AI sẽ tác động như thế nào đến tương lai của video? Trí tuệ nhân tạo đã hạ thấp rào cản gia nhập đối với người sáng tạo video theo nhiều cách. Hai yếu tố quan trọng là giảm thời gian và chi phí tạo ngay từ đầu cũng như giảm thời gian, chi phí và chuyên môn trong việc sản xuất và xuất ra video chất lượng cao.

• Về mặt sáng tạo, AI có thể tạo ra có thể được sử dụng để tạo các video clip dựa trên lời nhắc bằng văn bản hoặc hình ảnh. Trước đây, việc dựng cảnh cần có đoàn làm phim, bối cảnh, máy quay, kịch bản, diễn viên, biên tập viên, v.v. thì giờ đây có thể chỉ yêu cầu người dùng nhập lời nhắc văn bản trên bàn phím rồi đợi vài phút cho GPU để tạo ra một mẫu các kết quả tiềm năng. Việc tạo video sẽ không thay thế được tác phẩm chất lượng cao nhưng có thể giúp tiết kiệm chi phí đáng kể ở các giai đoạn khác nhau của quy trình.

• Về mặt sản xuất, dù được tạo ra bởi trí tuệ nhân tạo hay do người sáng tạo gửi đến, các chức năng như nâng cấp, nội suy khung hình và tạo phụ đề đều có thể nhanh chóng cải thiện chất lượng và khả năng sử dụng của nội dung video . Khả năng tiếp cận. Các tính năng nâng cao như tính tương tác trong video có thể được kích hoạt thông qua tính năng tự động phát hiện đối tượng, tạo mặt nạ và phân loại loại cảnh.

Thời điểm để Livepeer tận dụng bộ tính năng AI này rất thú vị do việc phát hành gần đây các mô hình cơ sở nguồn mở bao gồm Stable Video Diffusion, ESRGAN, FAST, v.v. Tất cả đồng bộ với các mô hình độc quyền nguồn đóng. Mục tiêu là để cơ sở hạ tầng video mở của thế giới hỗ trợ chạy các mô hình nguồn mở mà mọi người đều có thể truy cập được, hiện đã tồn tại và đang nhanh chóng trở nên tốt hơn nhờ sự đổi mới từ cộng đồng AI nguồn mở.

Nền tảng AI - Nơi Livepeer phù hợp

Đào tạo, Tinh chỉnh, Suy luận

Có nhiều giai đoạn trong vòng đời AI, nhưng thường có ba giai đoạn đòi hỏi nhiều sức mạnh tính toán. Các giai đoạn là đào tạo, tinh chỉnh và suy luận. Tóm lại:

• Việc đào tạo yêu cầu tạo mô hình và chạy các phép tính trên các tập dữ liệu rất lớn. Đôi khi điều này đòi hỏi khối lượng tính toán trị giá hàng nghìn hoặc hàng trăm triệu đô la khi đào tạo một mô hình cơ sở, chẳng hạn như mô hình được đào tạo thông qua OpenAI hoặc Google.

• Việc tinh chỉnh sẽ tiết kiệm chi phí hơn và sử dụng mô hình cơ sở hiện có nhưng điều chỉnh trọng số dựa trên một nhóm đầu vào cụ thể cho một nhiệm vụ cụ thể.

• Suy luận là hành động sử dụng một mô hình đã được huấn luyện và điều chỉnh và để nó tạo ra đầu ra hoặc đưa ra dự đoán dựa trên tập hợp đầu vào. Đối với một công việc suy luận, việc này thường rẻ về mặt tính toán so với hai giai đoạn đầu tiên, nhưng thường được thực hiện lặp đi lặp lại hàng triệu lần, do đó chi phí suy luận vượt quá chi phí đào tạo, do đó biện minh cho việc đầu tư vào đào tạo.

Việc đào tạo và tinh chỉnh yêu cầu quyền truy cập vào các tập dữ liệu lớn và GPU được kết nối mạng dày đặc để chúng có thể giao tiếp với nhau và chia sẻ thông tin một cách nhanh chóng. Các mạng như Livepeer không phù hợp lắm với việc đào tạo ngay lập tức và yêu cầu các bản cập nhật quan trọng để hoàn thành công việc. Mặc dù các mạng phi tập trung rất hấp dẫn để đào tạo như một giải pháp thay thế cho các đám mây đào tạo kỹ thuật quy mô lớn độc quyền, nhưng chúng không có tính cạnh tranh từ góc độ chi phí do chi phí mạng và sự thiếu hiệu quả trong việc đào tạo các mô hình cơ bản.

Mặt khác, suy luận là nơi các mạng phi tập trung như Livepeer có thể phát huy tác dụng. Mỗi toán tử nút có thể chọn tải một mô hình nhất định lên GPU của mình và có thể cạnh tranh về chi phí để thực hiện các công việc suy luận dựa trên đầu vào của người dùng. Giống như trong mạng chuyển mã Livepeer, người dùng có thể gửi công việc tới mạng Livepeer để thực hiện suy luận AI và sẽ thu được lợi ích từ việc định giá cạnh tranh trên thị trường mở, tận dụng sức mạnh GPU hiện đang nhàn rỗi và do đó thấy được lợi ích về chi phí.

GPU là huyết mạch của sự bùng nổ trí tuệ nhân tạo. Hoạt động kinh doanh trung tâm dữ liệu của NVidia, được xây dựng dựa trên nhu cầu GPU, đã tăng trưởng theo cấp số nhân trong năm qua. Elon Musk nói đùa rằng GPU khó mua hơn thuốc. Tuy nhiên, các mạng DePIN như Livepeer đã chỉ ra rằng thông qua động lực thị trường mở và bằng cách chuyển các ưu đãi thông qua phần thưởng mã thông báo lạm phát, họ có thể thu hút nguồn cung GPU toàn cầu trước nhu cầu, từ đó hỗ trợ linh hoạt sự phát triển của người dùng và ứng dụng mới. Khả năng trả tiền theo nhu cầu sử dụng gần như không giới hạn. Các nhà phát triển không còn cần phải đặt trước phần cứng ở mức giá cao không sử dụng mà thay vào đó có thể trả mức giá thị trường thấp nhất có thể. Đây là cơ hội lớn để các mạng phi tập trung thúc đẩy sự bùng nổ về trí tuệ nhân tạo.

Cơ hội Livepeer - gửi nhiệm vụ suy luận AI tới mạng thay vì GPU

Hãy để 1000 GPU được kết nối với Livepeer hoạt động

Các nhà cung cấp đám mây như GCP hoặc AWS cho phép bạn "dự trữ máy chủ GPU" trên đám mây doanh nghiệp của họ. Các mạng mở như Akash tiến thêm một bước nữa và cho phép bạn thuê máy chủ theo yêu cầu từ một trong nhiều nhà cung cấp phi tập trung trên toàn thế giới. Nhưng bất kể các lựa chọn trên, bạn sẽ phải quản lý máy chủ thuê để chạy mô hình và thực hiện các tác vụ. Nếu bạn muốn xây dựng một ứng dụng có thể thực hiện nhiều tác vụ cùng một lúc, bạn phải mở rộng quy mô của nó. Bạn phải liên kết các quy trình công việc với nhau.

Livepeer tóm tắt mọi thứ thành "công việc" mà bạn có thể gửi lên mạng và tin tưởng rằng nó sẽ được hoàn thành. Livepeer đã thực hiện điều này với tính năng chuyển mã video, hoạt động bằng cách gửi một đoạn video dài 2 giây để chuyển mã. Bạn chỉ cần gửi một công việc tới mạng và có thể tin tưởng rằng các nút phát sóng của bạn sẽ hoàn thành công việc một cách đáng tin cậy, đảm nhiệm việc lựa chọn nút công nhân, chuyển đổi dự phòng và dự phòng.

Đối với các tác vụ điện toán video bằng trí tuệ nhân tạo, nó có thể hoạt động theo cách tương tự. Có thể có công việc "tạo video từ văn bản". Bạn có thể tin tưởng rằng nút của bạn sẽ thực hiện công việc và bạn có thể mở rộng quy mô này thành bất kỳ số lượng công việc nào bạn muốn gửi đồng thời thông qua một nút duy nhất có thể tận dụng mạng lưới hàng nghìn GPU để thực hiện tính toán thực tế. Tiến lên một bước - việc này vẫn đang trong giai đoạn thiết kế - bạn có thể gửi toàn bộ quy trình làm việc, ví dụ:

• Tạo video từ văn bản

  • Tạo video từ văn bản

  • Tăng một cấp

  • Thực hiện nội suy khung hình để phát lại mượt mà

  Mạng có thể thực hiện việc này cho bạn mà không cần bạn phải triển khai các mô hình riêng biệt cho các máy riêng biệt, quản lý IO, bộ nhớ dùng chung, v.v. Không còn phải quản lý máy chủ, mở rộng quy mô máy chủ, thực hiện chuyển đổi dự phòng, v.v. Livepeer là cơ sở hạ tầng có thể mở rộng, tiết kiệm chi phí tối đa và có độ tin cậy cao. Nếu mạng có thể thực hiện những lời hứa này về điện toán video AI, như đã làm với nỗ lực chuyển mã video của mình, thì nó sẽ mang lại trải nghiệm mới cho nhà phát triển và giảm chi phí chưa từng thấy trong thế giới AI mở.

  Kế hoạch nhanh chóng giới thiệu điện toán video AI và xác minh tính hiệu quả về mặt chi phí của mạng

  Mạng con video AI

  Theo hành trình của Livepeer trong 7 năm qua , dự án này sẽ chứng minh các khả năng mạng và phần mềm nguồn mở thực sự, có thể sử dụng được, có chức năng, sau đó quảng bá "Livepeer có cái này". Đây là phiên bản ngắn của kế hoạch để đạt được điều này:

  1. Chọn các trường hợp sử dụng ban đầu cụ thể cho các loại công việc khác, không chỉ Mã chuyển mã video: Video được tạo dựa trên AI, được hỗ trợ bằng tính năng nâng cấp AI và nội suy khung. Các mô hình mở tuyệt vời, chẳng hạn như Khuếch tán video ổn định, đang phát triển hàng ngày trong không gian này.

  2. Di chuyển nhanh chóng bằng cách xây dựng trong các nhánh/mạch của phần mềm nút để thêm các tính năng này vào các nút điều phối (phía cung) và nút phát sóng (phía cầu) của chúng tôi. Catalyst, máy chủ phương tiện mở của Livepeer, phải hỗ trợ giao diện để yêu cầu và sử dụng các tác vụ tạo video này.

  3. Người dùng chạy mức tăng đột biến này sẽ hình thành một loại mạng con nào đó trên Livepeer, nhưng họ sẽ sử dụng giao thức Livepeer để khám phá và thanh toán cho các nút chạy tính năng mới này thông qua mạng chính Livepeer.

  4. Làm việc với các ứng dụng giao diện người dùng hướng tới người tiêu dùng để tận dụng mạng điện toán mở hiệu quả về mặt chi phí của Livepeer, đồng thời thu thập và trình bày dữ liệu xác thực tính hiệu quả về mặt chi phí của Livepeer so với đám mây công cộng.

  5. Khi chúng tôi xác thực điều này, hãy hợp nhất vào ứng dụng khách Livepeer cốt lõi, thêm các loại công việc bổ sung và phát triển hệ sinh thái xung quanh việc tận dụng các hình thức điện toán video dựa trên AI khác.

  

  Nút mạng con video AI chạy cùng với nút chuyển mã, trong khi sử dụng mạng chính Livepeer để thanh toán .

  AI Video SPE

  Livepeer gần đây đã giới thiệu một cộng đồng được quản lý vault trên chuỗi cho giao thức với bản nâng cấp Delta và đã sử dụng LPT trong vài tháng để tài trợ cho công chúng các chương trình hàng hóa. Hiện đã có một đề xuất trước đang được thảo luận và sắp bỏ phiếu để tài trợ cho một thực thể có mục đích đặc biệt (hoặc SPE) chuyên biến lời hứa về điện toán video trí tuệ nhân tạo thành hiện thực. Đề xuất đầu tiên nhằm đạt được sự phát triển cốt lõi để hoàn thành 4 nhiệm vụ đầu tiên được liệt kê ở trên, bao gồm:

  1. Phát triển các khả năng AI này Phân nhánh các nút Livepeer

  2. Người vận hành nút có thể tạo thành một mạng con và thực hiện các nhiệm vụ này bằng cách thanh toán trên mạng chính Livepeer.

  3. Một ứng dụng front-end thể hiện những khả năng này cho người tiêu dùng.

  4. Tập hợp các điểm chuẩn và dữ liệu cho thấy hiệu quả chi phí của mạng Livepeer trong việc thực hiện suy luận trí tuệ nhân tạo trên quy mô lớn.

  Nó cũng đặt ra các mốc tài trợ tiềm năng trong tương lai để cung cấp tín dụng cơ sở hạ tầng từ kho bạc nhằm trang trải chi phí sử dụng ban đầu của người tiêu dùng trong giai đoạn thu thập dữ liệu này.

  Kênh #ai-video trong Livepeer Discord đã trở thành một điểm nóng để thảo luận và cộng tác xung quanh sáng kiến ​​này. Bất kỳ ai tin tưởng vào cơ sở hạ tầng AI mở và tương lai của điện toán AI video nên ghé qua. xin chào và tham gia nhé. Các nhà khai thác nút đã bắt đầu đo điểm chuẩn cho các phần cứng khác nhau, làm quen với việc chạy các mô hình video mở này và giải quyết các thách thức khi chuyển từ chuyên môn chuyển mã video sang các loại công việc dành riêng cho video khác. Thật là một khoảng thời gian thú vị khi trở thành thành viên của một nhóm dự án đang phát triển nhanh chóng.

  Tương lai

  Mặc dù cột mốc ban đầu này có thể cho thấy rằng Livepeer có hiệu quả về mặt chi phí đối với các dạng điện toán video AI cụ thể mà nó hỗ trợ, nhưng sức mạnh tối thượng thực sự nằm ở khả năng của các nhà phát triển AI sang mô hình BYO, Trọng số BYO, tinh chỉnh BYO hoặc triển khai các bản dựng LoRA tùy chỉnh trên mô hình cơ sở hiện có của mạng.

  Việc hỗ trợ những khả năng ban đầu này, trên một loạt mô hình và phương thức tính toán đa dạng, sẽ giúp phát triển nhanh chóng các hoạt động của nút, tải/dỡ mô hình trên GPU, phát hiện và đàm phán nút, chuyển đổi dự phòng, thanh toán, xác thực, và hơn thế nữa. Tìm hiểu về điện toán video trí tuệ nhân tạo. Từ đó, chúng tôi có thể đánh giá các cột mốc quan trọng trong tương lai trong việc sản xuất và hỗ trợ các loại công việc điện toán video AI tùy ý trên mạng Livepeer.

  Ban đầu, các nền tảng dành riêng cho video như Livepeer Studio đã giúp các nhà phát triển video có thể xây dựng API và sản phẩm để tận dụng các mô hình được hỗ trợ. Các ứng dụng dành cho người tiêu dùng, chẳng hạn như các ứng dụng được đề xuất trong AI Video SPE, có thể sử dụng các khả năng này trực tiếp trên mạng Livepeer thông qua các nút Catalyst. Nhưng khi những khả năng này mở rộng, các doanh nghiệp AI mới tập trung vào người sáng tạo có thể hình thành và tận dụng mạng GPU toàn cầu của Livepeer để xây dựng các trải nghiệm tùy chỉnh một cách hiệu quả về mặt chi phí mà không cần dựa vào các đám mây công nghệ lớn đắt tiền và Mô hình độc quyền của họ làm xương sống kinh doanh.

  Đây là một con đường thú vị cần phải chạy để đến đó. Không còn nghi ngờ gì nữa, trí tuệ nhân tạo sẽ thay đổi thế giới video nhanh hơn những gì chúng ta có thể tưởng tượng trong những năm tới và chúng tôi hy vọng cơ sở hạ tầng video mở của thế giới sẽ trở thành tương lai có hiệu quả nhất về mặt chi phí và dễ tiếp cận cho tất cả các loại máy tính cần thiết để kích hoạt tính năng táo bạo này. công nghệ mới. Có khả năng mở rộng và đáng tin cậy.