ブロックチェーンデータインデックスの進化: ノードからAIによる全チェーンデータサービスへ

1 はじめに

2017年に最初のdAppが登場してから、現在ではさまざまなブロックチェーンアプリケーションが花盛りですが、これらのdAppで使用されるデータはどこから来るのか、私たちは考えたことがありますか?

2024年、AIとWeb3がホットな話題になる。AIの分野では、データはまるで生命の源のようだ。植物が太陽と水分を必要とするように、AIシステムも大量のデータに依存して常に学び進化する。データがなければ、どんなに巧妙なAIアルゴリズムでも、その本来の知能を発揮するのは難しい。

本稿では、ブロックチェーンデータの可用性の観点から、業界の発展過程におけるデータインデックスの進化を深く分析し、老舗インデックスプロトコルであるThe Graphと新興のChainbaseおよびSpace and Timeを比較し、これら二つのAI技術を組み合わせた新しいプロトコルのデータサービスと製品アーキテクチャにおける相違点と共通点について考察します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2 データインデックスの繁と簡: ブロックチェーンノードから全チェーンデータベースへ

2.1 データソース:ブロックチェーンノード

ブロックチェーンは去中心化された帳簿と見なされています。ノードはブロックチェーンネットワークの基盤であり、すべてのチェーン上の取引データを記録、保存、伝播する役割を担っています。各ノードは完全なブロックチェーンデータのコピーを持ち、ネットワークの去中心化特性を維持しています。しかし、一般ユーザーにとって、ノードを自分で構築し維持することは容易ではありません。これには専門的なスキルが必要であり、高額なハードウェアと帯域幅のコストがかかります。一般的なノードの照会能力も限られており、開発者が必要とする形式でデータを取得することはできません。したがって、理論的には誰もがノードを運営できるものの、実際にはユーザーは多くの場合、第三者のサービスに依存しています。

この問題を解決するために、RPCノードプロバイダーが登場しました。彼らはノードのコストと管理を担当し、RPCエンドポイントを通じてデータを提供します。ユーザーは自分でノードを構築することなく、ブロックチェーンデータにアクセスできます。公共RPCエンドポイントは無料ですが、レート制限があり、dAppの体験に影響を与える可能性があります。プライベートRPCエンドポイントはパフォーマンスが優れていますが、単純なデータ取得でも大量の通信が必要で、効率が悪く、スケーラビリティが難しいです。しかし、ノードプロバイダーの標準化されたAPIインターフェースは、データアクセスのハードルを下げ、後のデータ解析とアプリケーションの基盤を築くことに寄与しています。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.2 データ解析:原型データから利用可能なデータへ

ブロックチェーンノードが提供する原始データは通常、暗号化およびエンコードされており、完全性と安全性が保証されていますが、解析の難易度も増しています。一般のユーザーや開発者にとって、これらのデータを直接処理するには大量の技術知識と計算資源が必要です。

データ解析プロセスはこのため非常に重要になります。複雑なプロトタイプデータを理解しやすく操作しやすい形式に変換することで、ユーザーはこれらのデータをより直感的に活用できるようになります。解析の成功はブロックチェーンデータアプリケーションの効率に直接影響を与え、全体のインデックスプロセスにおける重要なステップです。

2.3 データインデクサの進化

ブロックチェーンのデータ量が増加するにつれて、インデクサの需要が高まっています。インデクサはチェーン上のデータを整理し、データベースに送信してクエリを行います。彼らはブロックチェーンデータをインデックス化し、クエリ言語(のようにGraphQL API)を通じてデータをいつでも利用可能にします。インデクサは統一されたクエリインターフェースを提供し、開発者は標準化された言語を用いて迅速かつ正確に情報を取得できるため、プロセスが大幅に簡素化されます。

異なるタイプのインデクサはデータ検索方法を最適化します:

1. 完全ノードインデクサー: 完全なブロックチェーンノードを実行してデータを直接抽出し、完全かつ正確であることを保証しますが、大量のストレージと処理能力が必要です。
2. 軽量級インデクサ: 完全ノードに依存して特定のデータをオンデマンドで取得し、ストレージの要求を減少させるが、クエリ時間が増加する可能性がある。
3. 専用インデクサ:特定のデータタイプやブロックチェーンに最適化された検索、例えばNFTデータやDeFi取引。
4. アグリゲーター: 複数のブロックチェーンやソースからデータを抽出し、オフチェーン情報を含む、統一されたクエリインターフェースを提供し、マルチチェーンdAppに適しています。

現在、EthereumのアーカイブノードはGethクライアントで約13.5TBのストレージを占めており、Erigonクライアントでは約3TBです。ブロックチェーンが成長するにつれて、ストレージの需要は継続的に増加しています。膨大なデータ量に直面して、主流のインデックスプロトコルはマルチチェーンインデックスをサポートし、異なるアプリケーションのニーズに応じたデータ解析フレームワークをカスタマイズしています。たとえば、The Graphの「サブグラフ」フレームワークのように。

インデクサーはデータのインデックス作成とクエリの効率を大幅に向上させました。従来のRPCエンドポイントと比較して、インデクサーは大量のデータを効率的にインデックス作成し、高速クエリをサポートします。ユーザーは複雑なクエリを実行し、データを簡単にフィルタリングおよび分析できます。一部のインデクサーはマルチチェーンデータソースの集約もサポートしており、マルチチェーンドAppが複数のAPIを展開することを避けます。分散型の運用は、より強力なセキュリティとパフォーマンスを提供し、集中型RPCプロバイダーによる中断リスクを軽減します。

インデクサは、ユーザーが複雑な基盤データを扱うことなく必要な情報を直接取得できるようにするために、あらかじめ定義されたクエリ言語を使用します。これにより、データ検索の効率と信頼性が大幅に向上し、ブロックチェーンデータアクセスの重要な革新となっています。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.4 全チェーンデータベース:流れ優先に整列

インデックスノードを使用してデータを照会することは通常、APIがオンチェーンデータを処理する唯一の手段となることを意味します。しかし、プロジェクトが拡張段階に入ると、より柔軟なデータソースが必要になることが多く、標準化されたAPIでは満たすことが難しくなります。アプリケーションの要求が複雑化するにつれて、初級インデクサーとその標準化インデックスフォーマットは、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなどの多様なクエリ要件に対応するのが次第に難しくなっています。

現代データパイプラインアーキテクチャにおいて、「ストリームファースト」アプローチは、従来のバッチ処理の限界を解決するためのソリューションとなり、リアルタイムのデータ取り込み、処理、分析を実現します。このパラダイムシフトにより、組織は着信データに即座に応答し、ほぼリアルタイムで洞察と意思決定を得ることができます。同様に、ブロックチェーンデータサービスプロバイダーもデータストリームの構築に向けて発展しており、従来のインデックスサービスプロバイダーはリアルタイムのブロックチェーンデータストリーム製品を次々と発表しています。例えば、The GraphのSubstreams、GoldskyのMirror、ChainbaseやSubSquidなど、ブロックチェーンに基づいて生成されたデータストリームのリアルタイムデータレイクが含まれます。

これらのサービスは、リアルタイムでブロックチェーン取引を解析し、包括的なクエリ機能を提供するニーズを解決することを目的としています。"フロー優先"アーキテクチャが遅延を低減し、応答能力を強化することで従来のデータ処理方法を革新したように、これらのブロックチェーンデータストリームサービスプロバイダーも、より高度で成熟したデータソースを通じて、より多くのアプリケーション開発を支援し、オンチェーンデータ分析を補助することを望んでいます。

現代のデータパイプラインの視点からオンチェーンデータの課題を再評価することで、私たちはデータ管理、ストレージ、提供の可能性を新たな角度から見ることができます。サブグラフやイーサリアムETLなどのインデクサーを最終的な出力ではなくデータフローとして考えると、あらゆるビジネスユースケースに合わせた高性能データセットを提供できる世界を想像することができます。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3 AI + データベース? The Graph、Chainbase、Space、Timeの詳細な比較

3.1 ザ・グラフ

The Graphネットワークは、分散型ノードネットワークを通じてマルチチェーンデータのインデックスおよびクエリサービスを実現し、開発者がブロックチェーンデータをインデックスしアプリケーションを構築するのを容易にします。その主な製品モデルは、データクエリ実行市場とデータインデックスキャッシュ市場であり、いずれもユーザーのクエリニーズに応えます。クエリ実行市場は、消費者が必要なデータに対して適切なインデックスノードを選択して支払うことを指し、インデックスキャッシュ市場は、インデックスノードがサブグラフの過去の熱度、クエリ料金、およびキュレーションのニーズに基づいてリソースを調整します。

サブグラフはThe Graphネットワークの基本データ構造であり、ブロックチェーンからデータを抽出し、クエリ可能な形式に変換する方法を定義します。誰でもサブグラフを作成でき、複数のアプリケーションで再利用可能であり、データの再利用性と使用効率を向上させます。

The Graphネットワークは、インデクサー、キュレーター、委託者、開発者の4つの役割で構成されており、共にweb3アプリケーションのデータニーズを支えています。各役割の責任は以下の通りです:

• インデクサー: ネットワークノードオペレーターは、GRTをステーキングしてネットワークに参加し、インデックス作成およびクエリ処理サービスを提供します。
• 委託者: GRTをインデックスノードにステーキングして運営をサポートし、委託したノードから一部の報酬を得る。
• キュレーター: ネットワークが優先的にインデックスすべき信号のサブグラフを担当し、価値のあるサブグラフが処理されることを確保します。
• 開発者: The Graphの主要なユーザーであり、サブグラフをネットワークに作成して提出し、データの要求が満たされるのを待ちます。

現在、The Graphは完全な分散型サブグラフホスティングサービスに移行し、参加者間に経済的インセンティブがあり、システムの運営を確保しています。

• インデックスノードは、クエリ料金と一部のGRTブロック報酬を通じて収益を得ます。
• 受託者はサポートされているインデックスノードから一部の報酬を得る。
• キュレーターが信号に価値のあるサブグラフを持っている場合、クエリ料金の一部を報酬として受け取ることができます。

The Graph製品はAIの波の中で急速に発展しています。Semiotic Labsはコア開発チームの1つとして、AI技術を利用してインデックスの価格設定とユーザーのクエリ体験を最適化することに尽力しています。現在開発中のAutoAgora、Allocation Optimizer、AgentCツールは、エコシステムの性能を多方面で向上させています:

• AutoAgoraは動的価格設定メカニズムを導入し、クエリ量とリソース使用に基づいてリアルタイムで価格を調整し、価格戦略を最適化してインデクサーの競争力と収益の最大化を確保します。
• Allocation Optimizerはサブグラフのリソース配分の問題を解決し、インデクサーが最適な設定を実現できるよう支援し、収益とパフォーマンスを向上させます。
• AgentCはユーザーが自然言語でブロックチェーンデータにアクセスできるようにし、ユーザーエクスペリエンスを向上させます。

これらのツールの応用により、The GraphはAIと組み合わせてシステムのインテリジェンスとユーザーフレンドリーさをさらに向上させました。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.2 チェーンベース

Chainbaseは、すべてのブロックチェーンデータを1つのプラットフォームに統合する全チェーンデータネットワークであり、開発者がアプリケーションを構築および維持するのを容易にします。独自の機能には以下が含まれます:

• リアルタイムデータレイク:ブロックチェーンデータストリーム専用のリアルタイムデータレイクを提供し、データ生成と同時にアクセス可能です。
• ダブルチェーンアーキテクチャ: Eigenlayer AVSに基づいて実行層を構築し、CometBFTコンセンサスアルゴリズムと並行ダブルチェーンアーキテクチャを形成します。この設計は、クロスチェーンデータのプログラム可能性とコンポーザビリティを強化し、高スループット、低遅延、最終性をサポートし、ダブルステーキングを通じてネットワークのセキュリティを向上させます。
• 新しいデータフォーマット標準の導入: "manuscripts"という新しいデータフォーマット標準を導入し、暗号業界のデータの構造化と利用方法を最適化します。
• 暗号世界モデル:AIモデル技術を組み合わせて、大量のブロックチェーンデータリソースを利用し、ブロックチェーン取引を効果的に理解し、予測し、相互作用するAIモデルを構築します。現在、一般向けに基本版モデルTheiaが公開されています。

これらの機能により、Chainbaseはインデックスプロトコルの中で際立っています。特にリアルタイムデータのアクセス可能性、革新的なデータフォーマット、そしてオンチェーンとオフチェーンのデータを組み合わせてよりスマートなモデルを作成し、洞察力を向上させることに重点を置いています。

ChainbaseのAIモデルTheiaは、他のデータサービスプロトコルと区別するための重要な要素です。Theiaは、NVIDIAが開発したDORAモデルに基づき、オンチェーンとオフチェーンのデータと時空間活動を組み合わせて、暗号パターンを学習・分析し、因果推論を通じて応答を行い、オンチェーンデータの潜在的な価値と規則を深く掘り下げ、ユーザーによりインテリジェントなデータサービスを提供します。

AIによって強化されたデータサービスは、Chainbaseを単なるブロックチェーンデータサービスプラットフォームではなく、競争力のあるスマートなデータサービスプロバイダーにしています。強力なデータリソースとAIによる積極的な分析を通じて、Chainbaseはより広範なデータインサイトを提供し、ユーザーデータ処理プロセスを最適化することができます。

3.3 スペースとタイム

スペースとタイム (SxT)は、検証可能な計算レイヤーを構築することに専念しており、分散型データウェアハウス上でゼロ知識証明を拡張し、スマートコントラクト、大規模言語モデル、企業に信頼できるデータ処理を提供します。現在、2000万ドルのAラウンドの資金調達を受けており、Framework Ventures、Lightspeed Faction、Arrington Capital、Hivemind Capitalがリードしています。

データインデックスと検証の分野で、Space and Timeは革新的な技術パス——Proof of SQLを導入しました。これはSxTが開発したゼロ知識証明技術で、分散型データウェアハウス上で実行されるSQLクエリが改ざんされず、検証可能であることを保証します。クエリを実行する際、Proof of SQLは暗号証明を生成し、クエリ結果の完全性と正確性を検証します。証明は結果に付加され、任意の検証者(、例えばスマートコントラクト)は、データ処理プロセスが改ざんされていないことを独立して確認できます。従来のブロックチェーンネットワークは通常、コンセンサスメカニズムに依存してデータの真実性を検証しますが、Proof of SQLはより効率的なデータ検証方法を実現しています。SxTシステムでは、1つのノードがデータを取得し、他のノードがzk技術を用いてデータの真実性を検証します。これにより、コンセンサスメカニズム下での複数ノードによるデータの重複インデックス化によるリソースの浪費が改善され、システム全体の性能が向上します。技術が成熟するにつれて、データの信頼性を重視することが可能になります。