분산형 스토리지 개념, 실용성 및 전망

출처:PermaDAO

요약

현재 시장에서 지배적인 탈중앙화 스토리지 플랫폼으로는 Arweave, Filecoin, Storj 등이 있으며, 이들은 기존 클라우드 스토리지 서비스와 달리 단일 중앙 제어 지점에 의존하지 않는 데이터 저장 방식을 제공합니다. Arweave는 일회성 결제 모델을 통한 장기 또는 영구 저장에 초점을 맞추고 있으며, Filecoin과 Storj는 블록체인 기반 스토리지 마켓플레이스를 구축하고 유연한 스토리지 솔루션을 제공합니다. Arweave는 "효율적인 데이터 마이닝"을 통해 채굴자에게 인센티브를 제공하고, Filecoin은 복제 증명과 시간 증명을 통해 데이터 저장을 보장합니다. 아위브의 스토리지는 실무적인쉬운 스토리지인 반면, 파일코인과 스토어지는 각각 전문가 시장과 기존 클라우드 스토리지 사용자를 타깃으로 합니다. 탈중앙화 스토리지의 미래는 특히 데이터 탈중앙화, 검열 저항, 인공지능 분야에서 유망합니다.

분산형 스토리지는 단일 중앙 제어 지점에 의존하지 않는 데이터 스토리지 접근 방식입니다. 이러한 접근 방식은 일반적으로 단일 기업이나 조직에서 관리하는 Amazon S3 또는 Google Cloud와 같은 기존 클라우드 스토리지 서비스와 같은 기존의 중앙 집중식 스토리지와 대조됩니다.

주류 분산형 스토리지

오늘날 시중에 나와 있는 주류 분산형 스토리지로는 Arweave, Filecoin, Storj가 있습니다. 이들 스토리지에는 각각 고유한 기능과 설계 철학이 있습니다.

< li>

Arweave 장기 또는 영구 데이터 저장에 중점을 둡니다.

• Filecoin 기존 클라우드 스토리지와 유사한 탈중앙화 마켓플레이스를 제공하여 유연한 스토리지 요구를 지원합니다.

• Storj 보안과 개인정보 보호를 제공하는 탈중앙화 클라우드 스토리지 서비스에 중점을 둡니다.

이 세 가지 플랫폼은 모두 블록체인 기술을 사용하지만 애플리케이션 시나리오, 기술 구현, 결제 모델이 다르며, 각기 다른 유형의 스토리지 요구에 적합합니다.

1. Arweave

• 목표: 장기적이고 영구적인 데이터 스토리지 솔루션 제공.Arweave의 목표는 데이터를 "영원히" 저장하는 것이며, 주로 장기적인 데이터 보존에 사용됩니다.

• 기술: 블록위브라는 고유한 블록체인 기술을 사용합니다. 기존 블록체인과 달리 블록위브는 새로운 블록마다 이전 무작위 블록에 대한 참조를 포함하며, 데이터의 장기 보존을 장려하도록 설계되었습니다.

• 결제 모델: 사용자는 데이터 저장에 대해 일회성 요금을 지불하며, 이 데이터는 저장된 후 이론적으로 영원히 액세스할 수 있습니다.

2. 파일코인

• 목표: 기존 클라우드와 유사한 탈중앙화된 스토리지 시장을 만드는 것을 목표로 합니다. 스토리지 서비스.

• 기술: 파일코인은 IPFS(인터넷 파일 시스템)를 위한 인센티브 레이어입니다. "저장 증명"과 "시간 증명"을 사용하여 데이터가 올바르게 저장되었는지 확인합니다.

• 결제 모델: 사용자는 저장된 데이터의 양과 기간에 따라 스토리지 공급자에게 비용을 지불합니다. 이는 사용자가 필요에 따라 스토리지를 추가하거나 빼고 그에 따라 비용을 지불하는 보다 전통적인 임대 모델입니다.

3. Storj

• 목적: 사용자에게 분산형 클라우드 스토리지 솔루션을 제공하는 것으로, 다음 사항에 중점을 둡니다. 보안 및 개인 정보 보호.

• 기술: Storj는 암호화 및 샤딩 기술을 사용하여 데이터 보안과 개인 정보를 보호합니다. 데이터는 업로드되기 전에 클라이언트 측에서 암호화되고 여러 개의 청크로 분할된 다음 전 세계 노드에 분산되어 저장됩니다.

• 결제 모델: Storj의 결제 모델은 기존 클라우드 스토리지와 유사하며, 사용한 스토리지 공간과 대역폭에 따라 요금이 청구됩니다.

반면, Arweave는 검열에 강하고 영구적인 데이터에 더 중점을 두고 영구적인 스토리지에 중점을 둔다는 점에서 독특하며, Filecoin과 Storj는 모두 블록체인 기술을 사용하여 스토리지 시장을 재구성하는 데 중점을 둔 스토리지 마켓플레이스를 사용합니다.

비즈니스 아키텍처 설명

영구 데이터 저장에 대한 아위브의 이론적 근거는 무어의 법칙과 유사합니다. 1980년부터 현재까지 데이터 스토리지 비용에 대한 통계에 따르면, 스토리지 비용은 매년 20%씩 감소하고 있습니다. 이 통계 법칙에 따르면 데이터 저장 비용은 무한한 시간이 지나면 상수로 수렴하는데, Arweave 영구 스토리지는 200년 동안 데이터를 저장하는 데 드는 비용을 계산합니다. 사용자는 데이터를 저장할 때 일회성 요금을 지불합니다.

동시에 Arweave는 매우 우아하고 간단한 데이터 마이닝 메커니즘을 고안해냈습니다. 이를 "효과적인 데이터 마이닝"이라고 부를 수 있습니다.

유효 데이터는 과거에 Arweave 네트워크에 저장된 데이터로, 사용자가 200년 동안의 저장 비용을 지불한 데이터입니다. 네트워크의 또 다른 주체 그룹인 마이너는 유효한 데이터로 채굴하고 유효한 데이터를 읽는 서비스를 제공하는 주체입니다. 다른 스토리지 블록체인과 달리 Arweave는 채굴자에게 데이터 저장을 강요하지 않고, 각 채굴자가 저장할 수 있는 '유효한 데이터'의 양을 최대화하도록 인센티브를 제공합니다. 아르위브 네트워크에서는 채굴자가 더 많은 "유효한 데이터"를 저장할수록 더 많은 "파워"를 채굴할 수 있습니다.

아르위브 네트워크에 100TB의 유효한 데이터가 있다고 가정할 때, 채굴자가 반드시 100TB의 데이터를 모두 저장해야 하는 것은 아닙니다. 즉, 채굴자는 100MB의 데이터만 가지고도 채굴할 수 있지만 채굴자의 전력은 매우 작습니다. 채굴자가 100TB의 데이터를 모두 저장하기로 선택하면 최대 전력량을 갖게 됩니다.

"효율적인 데이터 마이닝" 메커니즘에서, 아위브 네트워크는 채굴자가 가능한 한 많은 데이터를 저장하도록 인센티브를 제공하지만, 모든 데이터를 저장하도록 강요하지는 않습니다. 이러한 인센티브 모델에서는 데이터 손실의 가능성이 있을까요? 다음은 데이터 손실에 대한 시뮬레이션입니다.

첫 번째와 두 번째 행의 0.5는 단일 노드가 데이터의 50%를 저장한다는 것을 의미합니다. 데이터. 블록 네트워크에 200,000개의 블록이 있고 네트워크에 200개의 노드가 있으며 각 노드가 100,000개의 블록(블록 데이터의 50%)을 무작위로 저장한다고 가정하면 단일 블록에 접근할 수 없는 확률은 확률적으로 6.223^10-61로 계산할 수 있습니다. 클라우드 서비스에서 제공하는 데이터의 신뢰도는 99.999999999%이며 이는 10의 7제곱인 값입니다. 위의 Arweave 알고리즘은 무려 61의 거듭제곱을 제공합니다.

필코인과 스토어제이 모두 블록체인 기술을 사용하여 데이터 스토리지 마켓플레이스를 구축합니다. Storj의 주요 개선점은 데이터 프라이버시입니다. 이 글은 파일코인의 원리에 초점을 맞춥니다.

기존의 오더북과 유사하게 필코인을 사용하려면 먼저 사용자가 마켓플레이스에 가서 보류 중인 주문에 입찰하고 데이터 저장 시간과 백업 횟수를 지정하면 채굴자가 수익을 낼 수 있는 주문을 받게 됩니다. 전체 거래 시장의 공정성을 보장하기 위해 필코인은 복잡한 경제 모델을 구축하고 몰수 및 소액 분할 지불과 같은 다양한 규칙을 설정했습니다. 핵심 기술은 복제 증명과 시간 증명입니다.

• 복제 증명: 채굴자는 데이터가 전용 물리적 장치에 저장되었다는 것을 사용자에게 증명합니다. 채굴자가 사용자의 데이터를 저장하기 위해 증명을 수행할 때마다 네트워크는 해당 채굴자에게 비용을 지불합니다.

• 공간적-시간적 증명: 복사 증명만으로는 데이터가 항상 저장된다는 보장이 없는 경우, 채굴자는 증명 제출 시점에 해당 데이터의 일부분만 저장할 수 있습니다. 이러한 이유로 파일코인은 채굴자가 이 데이터를 지속적으로 저장할 수 있도록 설계된 시공간적 증명을 추가했습니다.

위 내용을 요약하면, 아위브의 영구 저장소에 대한 근거와 이를 구현하기 위한 솔루션은 다음과 같습니다.

• 영구 저장소 비용은 매년 감소하고 있습니다

• 데이터 불멸성을 위한 "효율적인 데이터 마이닝"을 통해 채굴자에게 인센티브 제공

필코인과 스토어제이(Storj)는 다음과 같습니다. 필코인과 스토어제이 모두 블록 기술을 이용해 만든 탈중앙화 스토리지 마켓플레이스로, 주문하는 사람이 수요를 제공하고 채굴자가 주문을 수락하는 전통적인 거래 시장의 오더북과 유사한 모델을 통해 데이터 저장 보안을 보장하며, 필코인의 핵심 기술 포인트는 복제 증명과 시간 증명입니다.

저장소 실습

아르위브에 데이터를 저장하는 방법에는 두 가지가 있습니다. 첫 번째 방법은 데이터를 Arweave 노드로 직접 전송하고 AR을 지불하는 것입니다. 두 번째 방법은 ANS-104(번들) 데이터 바인딩 프로토콜을 사용하여 데이터를 Arweave에 일괄 패키징하는 것입니다.

데이터를 Arweave에 직접 저장

사용자는 지갑에 보유 AR을 준비하기만 하면 작업을 완료할 수 있습니다. 다음 코드를 사용하여 명명된 파일.pdf를 Arweave에 저장하세요:

더 많은 문서 참조를 위해:
< /p>

https://github.com/ArweaveTeam/arweave-js

ANS-104를 사용하여 Arweave에 데이터 저장하기(권장)

Arweave의 블록은 보통 2분 내외로 블록 속도가 느리고, 한 블록이 처리할 수 있는 트랜잭션이 1000개에 불과하여 Arweave에 저장할 수 있는 트랜잭션의 수가 크게 제한되지만, 한 트랜잭션의 저장 용량은 무제한이며 사용자는 한 번의 트랜잭션으로 최대 100MB 또는 10GB의 데이터를 Arweave에 직접 저장할 수 있습니다. 트랜잭션 수를 확장하는 문제를 해결하기 위해 ANS-104가 개발되었습니다.

ANS-104는 다중 트랜잭션 바인딩 기술로, 수만 개의 서로 다른 데이터 엔티티를 단일 Arweave 트랜잭션에 바인딩할 수 있습니다. 이더리움에서 레이어2 롤업 솔루션과 비교할 수 있지만, ANS-104는 데이터 보안을 잃지 않으며 바인딩된 데이터는 Arweave에 100% 그대로 저장된다는 점에서 차이가 있습니다.

데이터 저장에 ANS-104를 사용하는 것을 보여주는 코드는 다음과 같습니다:

이미지 src="https://img.jinse.cn/7175001_image3.png">

이 코드는 arseeding 라이트 노드를 사용합니다. 데이터 바인딩 서비스로서, arseeding light 노드는 모든 Arweave 네이티브 노드 인터페이스를 지원하고 ANS-104 인터페이스를 확장하는 완전 오픈 소스 Arweave 데이터 노드입니다. 모든 Arweave 네이티브 노드 인터페이스를 지원하고 ANS-104 인터페이스를 확장하며, 크로스체인 결제 프로토콜인 에버페이를 통합하여 사용자 및 개발자는 AR을 사용하여 스토리지 비용을 지불할 수 있을 뿐만 아니라 ETH, BNB, USDT, USDC 등 다양한 자산을 데이터 저장에 사용할 수도 있습니다.

자세한 설명은 다음을 참조하세요:

https://web3infra.dev/docs/Arseeding/guide/quickStart

스토리지 요금

현재 Arweave에 1GB의 데이터를 저장하는 데 드는 비용은 $7.50입니다.

최신 저장 비용 참조:https://ar-fees.arweave.dev/

Arweave 데이터 검색 및 다운로드

strong>

Arweave에는 모든 개인이나 조직이 표준에 따라 Arweave 인덱스를 구현할 수 있는 표준화된 GraphQL 서비스 인터페이스가 있습니다. 다음은 두 가지 대표적인 좋은 인덱싱 게이트웨이입니다.

• 가장 완벽한 인덱스를 제공하는 ArweaveNet 게이트웨이.

링크: https://arweave.net/graphql

• KNN3 게이트웨이, 실시간으로 빠르게 어시딩 노드 데이터를 검색합니다.

링크: https://knn3-gateway.knn3↪CF_200D↩.xyz/ars↪CF_200D↩eeding/graphql

아르위브 데이터를 다운로드하려면 데이터의 ARID 또는 ItemID, 코드 예시:

파일코인 저장 방법

유감스럽게도 필코인은 일반 사용자와 개발자를 위한 스토리지 도구를 제공하지 않으며, 일반 개발자의 경우 필코인을 사용할 수 없는 상태입니다. 산발적 인 기술 문서에서 타사 서비스 제공 업체를 통해 일부 파일 코인 스토리지 솔루션을 찾을 수 있지만 서비스 제공 업체의 문서를 자세히 살펴보면 대부분 IPFS 스토리지 만 제공하고 이러한 서비스 제공 업체는 필자의 제한된 수준으로 인해 데이터를 필코인에 반드시 저장하지는 않으며 데이터를 필코인에 직접 저장하는 더 나은 방법을 찾을 수 없으며 데이터를 필코인에 직접 저장하는 해당 인터페이스가 없습니다. 또한 파일코인에서 직접 데이터를 가져올 수 있는 인터페이스도 없습니다.

Storj의 저장 방법

Storj의 저장 방법은 Web2와 동일하며 개발자는 공식 웹사이트를 방문하여 등록하고 API-KEY를 받아야 합니다. Storj의 저장소는 여기서 논의하지 않는 AWS S3 인터페이스와 호환됩니다. Storj의 스토리지는 AWS S3 인터페이스와 호환되므로 여기서는 다루지 않겠습니다. Storj의 스토리지 비용은 1GB의 스토리지가 한 달에 0.004달러로 저렴하지만, 200년 스토리지 비용은 9.60달러로 Arweave보다 약간 높습니다.

스토리지 사례를 보면 Arweave의 트랜잭션 처리 모델은 비트코인/이더리움 등의 블록체인과 일치합니다. 파일코인은 사용 가능한 SDK나 인터페이스를 제공하지 않으며, 소위 스토리지 리더라고 불리는 이 서비스를 개발자가 사용할 수 없다는 점은 아쉽습니다. Storj의 스토리지는 Web2와 동일합니다.

아르위브는 네이티브 블록체인 스토리지로, 일단 데이터를 아르위브로 전송하면 삭제하거나 변조할 수 없고, 필코인과 스토지는 임대형이기 때문에 프로젝트가 언제든지 스토리지 임대를 중단할 수 있으며, 데이터에 블록체인의 특성이 없다는 점에 주목할 필요가 있습니다. 특성은 중앙화된 클라우드 서비스에 저장하는 것과 동일합니다.

아르위브와 파일코인을 보다 명확하게 구분하기 위해 아르위브의 데이터를 "합의 데이터"라고 명명할 수 있으며, 이는 비트코인과 이더리움 모두에 속하는 데이터입니다. 파일코인 스토리지 렌탈 마켓에 저장된 데이터는 컨센서스 데이터라고 할 수 없습니다.

미래

탈중앙화 스토리지를 위한 두 개의 매우 다른 비즈니스 라인이 등장했습니다. Arweave로 대표되는 한 비즈니스 라인은 데이터 탈중앙화, 검열 저항, 추적성 및 기타 기능에 중점을 둔 합의 데이터에 중점을 두고 있습니다. 파일코인으로 대표되는 비즈니스 라인은 탈중앙화 시장에 중점을 두고 있으며, 스토리지 리소스를 할당하고 스토리지 성공을 증명하는 데 중점을 두고 있습니다. 디파이의 발전과 유사하게 초기 IDEX는 블록체인 기술을 사용하여 오더북 마켓플레이스를 만들었는데, 오더북은 티켓 상환을 끊고 먹는 모델로 해결하도록 설계된 매우 전통적인 비즈니스 모델이었으며, 디파이의 폭발은 유니스왑 AMM 거래 모델이 가져온 유동성 채굴 기술의 결과로, AMM은 유동성의 조합적 특성을 달성하기 위해 주문을 완전히 자동화할 수 있게 해주었고, 궁극적으로 디파이의 여름 폭발. 현재 탈중앙화 스토리지 트랙에서 파일코인은 오더북 시장을 만드는 동일한 블록체인 기술을 대표하는 반면, 아위브는 AMM과 유사한 통합 모델을 사용하여 데이터의 수요와 공급을 관리하며, 아위브 통합 모델은 데이터 가격 책정 및 처리에 더 편리하고 아위브를 사용하면 일반 데이터를 '합의' 데이터인 컨센서스 데이터로 쉽게 변환할 수 있습니다. 합의 데이터에 기반한 데이터는 '데이터 결합성'의 폭발적인 증가를 이끌 수 있습니다.

이와 동시에 데이터 저장소가 컨센서스를 가지고 있다면, 이 데이터를 사용하는 애플리케이션도 컨센서스를 형성할 수 있다는 것이 핵심인 SCP 이론(스토리지 기반 합의 패러다임)을 언급하지 않을 수 없습니다. SCP는 비트코인, 이더리움 등 다양한 체인에 데이터를 저장할 수 있고, 블록체인에서 데이터를 취합해 고유한 상태를 형성할 수 있는 오프체인 컴퓨팅을 강조하고 있습니다. 이러한 상태는 어떤 컴퓨팅 장치에서 실행해도 동일한 결과를 생성하는데, 굳이 체인에서 연산해야 하는 이유는 무엇일까요? 그렇게 많은 연산 자원을 낭비할 필요가 있을까요?

현재 화제가 되고 있는 BRC20, 비트코인 인스크립션은 모두 오프체인 연산 합의를 사용합니다. BRC20 프로토콜과 아위브의 SCP가 강조하는 스토리지 합의는 모두 데이터 레이어인 블록체인을 통해 불변의 추적 가능한 거래 데이터를 제공하며, 상태 연산은 완전히 오프체인에서 이루어집니다. 아위브의 스토리지 기능을 통해 SCP 이론은 훨씬 더 강력한 합의 데이터 세트에 접근할 수 있으며, 아위브 SCP 이론은 이미 비트코인 인덱서의 궁극적인 버전이자 자산뿐만 아니라 텍스트, 이미지, 심지어 동영상까지 처리할 수 있는 완전하게 설계된 애플리케이션인 퍼마웹(Permaweb)을 개발했습니다. 퍼마웹은 자산뿐만 아니라 텍스트, 이미지, 심지어 동영상까지 처리할 수 있습니다. 가까운 미래에 미디어를 스트리밍할 수 있는 초강력 인덱서가 완전히 탈중앙화된 지터버그를 만든다고 상상해 보세요.

퍼마웹 솔루션은 웹 호스팅부터 콘텐츠 공동 제작, 게임 등 아키텍처를 사용하여 쉽게 개발할 수 있는 광범위한 애플리케이션을 지원합니다. 퍼마웹 애플리케이션은 서로의 데이터와 결합할 수 있습니다. 예를 들어, 작가가 콘텐츠 공동 제작을 통해 Arweave에 텍스트와 저작권을 업로드하면 게임 개발자는 작가의 콘텐츠를 직접 참조하고 플레이어가 작가에게 저작권료를 지불할 수 있습니다.

현재 디핀의 가장 큰 딜레마는 블록체인 성능입니다. 디핀 기기가 수백만 가정에 보급될 예정이지만, 이렇게 방대한 양의 사용자 상호작용을 처리할 수 있는 블록체인은 없습니다. 대부분의 디핀은 여전히 데이터 처리에 중앙화된 접근 방식을 사용하고 있으며, 이는 디핀의 탈중앙화 특성을 잃게 만듭니다. 합의 데이터는 디핀에 더 강력한 권한을 부여할 수 있으며, 디핀 데이터가 영구화되면 조합적 특성도 갖게 됩니다. 예를 들어, 그린 에너지 인증서는 블록체인 작업 증명 작업 중 에너지 소비를 상쇄하거나, 콘텐츠 제작을 위한 로고가 되거나, 게임에서 배지가 될 수 있습니다. 데이터와 가치는 어디로든 흘러갈 것입니다.

컨센서스 데이터는 인공지능 분야에도 적용됩니다. 인간의 지식과 역사는 영원히 지속되어야 하며, 합의 데이터는 인공지능이 인간의 지식과 역사를 오염시키거나 변조할 수 없도록 보장할 수 있습니다. 마찬가지로, 합의 데이터는 인공지능을 위한 최고의 데이터 소스가 될 수 있으며, 인공지능이 유효한 정보를 학습하고 처리할 수 있게 해줍니다.