ブロックチェーンデータインデックス技術の演進：ノードからAIによる全チェーンデータサービスへ

1 はじめに

2017年に最初のdAppが誕生して以来、ブロックチェーンアプリケーションは急成長し、金融、ゲーム、ソーシャルなどのさまざまな分野を網羅しています。分散型アプリケーションについて議論する際、私たちはこれらのdAppが使用しているデータの出所について考えたことがあるでしょうか？

2024年、AIとWeb3がホットな話題となる。人工知能の分野では、データは生命の源のように、AIシステムの成長と進化にとって重要である。植物が太陽と水分を必要とするように、AIシステムも膨大なデータに依存して継続的に「学び」や「考える」。データの支援がなければ、どんなに巧妙なAIアルゴリズムでも、その本来の知能と効率を発揮することは難しい。

この記事では、ブロックチェーンデータのアクセス可能性の観点から、業界の発展過程におけるブロックチェーンデータインデックスの進化の歴史を深く分析します。また、従来のデータインデックスプロトコルと新興のブロックチェーンデータサービスプロトコルを比較し、特にAI技術を組み合わせた新しいプロトコルのデータサービスと製品アーキテクチャの特徴における違いと類似点に焦点を当てます。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2 データインデックスの複雑さと単純さ：ブロックチェーンノードから全体のデータベースへ

2.1 データソース：ブロックチェーンノード

ブロックチェーンはよく非中央集権的な帳簿として説明されます。ブロックチェーンノードはネットワーク全体の基盤であり、すべての取引データを記録、保存、伝播する責任があります。各ノードは完全なブロックチェーンデータのコピーを保存し、ネットワークの非中央集権的な特性を確保します。しかし、一般のユーザーにとって、ノードを自ら構築し維持することは容易ではなく、専門的なスキルが必要なだけでなく、高額なハードウェアと帯域幅のコストも伴います。一般的なノードのクエリ能力も限られており、開発者のニーズを満たすのが難しいです。したがって、理論的には誰でもノードを運営できるが、実際にはユーザーはサードパーティのサービスに依存することを好む傾向があります。

この問題を解決するために、RPCノードプロバイダーが登場しました。これらのプロバイダーはノードのコストと管理を担当し、RPCエンドポイントを通じてデータサービスを提供します。ユーザーは自分でノードを構築することなく、簡単にブロックチェーンデータにアクセスできます。公共RPCエンドポイントは無料ですが、レート制限があり、dAppのユーザーエクスペリエンスに影響を与える可能性があります。プライベートRPCエンドポイントはより良いパフォーマンスを提供しますが、複雑なクエリに対しては効率が低く、スケーラビリティやネットワーク間の互換性が難しいです。それにもかかわらず、ノードプロバイダーの標準化されたAPIインターフェースは、ユーザーがオンチェーンデータにアクセスするハードルを下げ、後続のデータ解析やアプリケーションの基盤を築いています。

2.2 データ解析：プロトタイプデータから利用可能なデータへ

ブロックチェーンノードから取得されるデータは通常、暗号化およびエンコード処理された原始データです。これらのデータはブロックチェーンの完全性と安全性を保証しますが、データ解析の難易度も増加させます。一般ユーザーや開発者にとって、これらのプロトタイプデータを直接処理するには大量の技術知識と計算リソースが必要です。

データ解析プロセスはこの背景の中で特に重要です。複雑なプロトタイプデータをより理解しやすく操作しやすい形式に変換することで、ユーザーはこれらのデータをより直感的に理解し利用できるようになります。データ解析の効果はブロックチェーンデータアプリケーションの効率と効果に直接影響し、全体のデータインデックスプロセスにおける重要な部分です。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

2.3 データインデクサの進化

ブロックチェーンのデータ量が増加するにつれて、データインデクサの需要が高まっています。インデクサは、チェーン上のデータを整理し、それをデータベースに送信してクエリを行う上で重要な役割を果たします。インデクサは、ブロックチェーンデータをインデックス化し、SQLに似たクエリ言語（GraphQL APIなど）を提供することで、データを常に利用可能にします。統一されたクエリインターフェースを提供することで、インデクサは開発者が標準化されたクエリ言語を使用して必要な情報を迅速かつ正確に取得できるようにし、プロセスを大幅に簡素化します。

異なるタイプのインデクサは、さまざまな方法でデータの検索を最適化します：

1. フルノードインデクサ：フルブロックチェーンノードからデータを直接抽出し、データの完全性と正確性を確保しますが、大量のストレージと処理能力が必要です。
2. 軽量インデクサ：フルノードに依存して必要に応じて特定のデータを取得し、ストレージの要求を減らしますが、クエリ時間が増加する可能性があります。
3. 専用インデクサ：特定のタイプのデータや特定のブロックチェーンに最適化されており、NFTデータやDeFi取引など。
4. アグリゲーターインデクサー：複数のブロックチェーンやソースからデータを抽出し、オフチェーン情報を含む、統一されたクエリインターフェースを提供します。特にマルチチェーンdAppに適しています。

現在、イーサリアムのアーカイブノードはGethクライアントで約13.5 TBのストレージスペースを占めており、Erigonクライアントでは約3 TBです。ブロックチェーンが成長するにつれて、アーカイブノードのデータストレージ量は引き続き増加します。このような膨大なデータ量に直面して、主流のインデックスプロトコルは、マルチチェーンインデックスをサポートするだけでなく、さまざまなアプリケーションのデータニーズに応じたデータ解析フレームワークをカスタマイズしています。

インデクサの登場は、データのインデックスとクエリの効率を大幅に向上させました。従来のRPCエンドポイントと比較して、インデクサは大量のデータを効率的にインデックスし、高速クエリをサポートします。ユーザーは複雑なクエリを実行し、データを簡単にフィルタリングし、抽出後に分析を行うことができます。一部のインデクサは、複数のブロックチェーンのデータソースを集約することもサポートしており、マルチチェーンdAppが複数のAPIをデプロイする必要がある問題を回避します。分散型での運用により、インデクサはより強力なセキュリティとパフォーマンスを提供し、集中型RPCプロバイダーによる中断リスクを軽減します。

対照的に、インデクサは事前定義されたクエリ言語を通じて、ユーザーが基盤となる複雑なデータを処理することなく、必要な情報を直接取得できるようにします。このメカニズムは、データ検索の効率と信頼性を大幅に向上させ、ブロックチェーンデータアクセスの重要な革新です。

2.4 全チェーンデータベース：ストリーム優先にアライン

インデックスノードを使用してデータを照会することは、通常、APIがオンチェーンデータを処理する唯一の入り口になることを意味します。しかし、プロジェクトが拡張段階に入ると、より柔軟なデータソースが必要になることが多く、標準化されたAPIではこのニーズを満たすのが難しくなります。アプリケーションの要求が複雑化するにつれて、初歩的なデータインデクサーとその標準化されたインデックス形式は、検索、クロスチェーンアクセス、またはオフチェーンデータマッピングなど、ますます多様化する照会ニーズを満たすのが難しくなっています。

現代のデータパイプラインアーキテクチャにおいて、"ストリームファースト"アプローチは、従来のバッチ処理の限界を解決するためのソリューションとなり、リアルタイムデータの取り込み、処理、分析を実現します。このパラダイムシフトにより、組織は受信データに即座に反応し、ほぼリアルタイムで洞察を得て意思決定を行うことができるようになります。同様に、ブロックチェーンサービスプロバイダーもブロックチェーンデータストリームの構築に向けて進展しており、従来のインデクササービスプロバイダーはリアルタイムのブロックチェーンデータをストリーム方式で取得する製品を次々と発表しています。

これらのサービスは、ブロックチェーン取引のリアルタイム解析とより包括的なクエリ機能のニーズを解決することを目的としています。「ストリームファースト」アーキテクチャが従来のデータパイプラインにおけるデータ処理方法を革新し、遅延を低減し応答能力を強化したように、これらのブロックチェーンデータストリームプロバイダーも、より高度で成熟したデータソースを通じて、より多くのアプリケーションの発展を支援し、チェーン上のデータ分析を補助したいと考えています。

オンチェーンデータの課題を現代のデータパイプラインの視点から再定義することで、オンチェーンデータの管理、ストレージ、提供の可能性を新しい角度から見ることができます。サブグラフやEthereum ETLなどのインデクサーをデータパイプライン内のデータフローとして捉え、最終的な出力ではなくなるとき、あらゆるビジネスケースに特化した高性能データセットを提供できる可能性のある世界を想像することができます。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3 The Graph、Chainbase、Space and Timeの詳細な比較

3.1 ザ・グラフ

The Graphネットワークは、去中心化ノードネットワークを通じてマルチチェーンデータのインデックスとクエリサービスを実現し、開発者がブロックチェーンデータをインデックス化し、去中心化アプリケーションを構築することを容易にします。その主要な製品モデルには、データクエリ実行市場とデータインデックスキャッシュ市場が含まれ、本質的にユーザーの製品クエリニーズに応えています。

サブグラフはThe Graphネットワークにおける基本データ構造であり、ブロックチェーンからデータを抽出し、クエリ可能な形式に変換する方法を定義します。誰でもサブグラフを作成でき、複数のアプリケーションがこれらのサブグラフを再利用できるため、データの再利用性と使用効率が向上します。

The Graphネットワークは、インデクサー、キュレーター、委託者、開発者の4つの重要な役割で構成されており、共にWeb3アプリケーションにデータサポートを提供しています。現在、The Graphは完全な分散型サブグラフホスティングサービスに移行しており、異なる参加者間で流通する経済的インセンティブがシステムの運営を確保しています。

The Graphの製品もAIの波の中で急速に発展しています。Semiotic Labsが開発したAutoAgora、Allocation Optimizer、AgentCツールは、それぞれさまざまな面でエコシステムのパフォーマンスを向上させました。これらのツールの応用により、The GraphはAI支援を結びつけて、システムの知能化とユーザーフレンドリーさをさらに向上させました。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.2 チェーンベース

Chainbaseは、すべてのブロックチェーンデータを1つのプラットフォームに統合し、開発者がアプリケーションをより簡単に構築および維持できるようにする全チェーンデータネットワークです。その独自の機能には、以下が含まれます：

• リアルタイムデータ湖：ブロックチェーンデータストリーム専用のリアルタイムデータ湖を提供し、データが生成された時に即座にアクセスできるようにします。
• デュアルチェーンアーキテクチャ：Eigenlayer AVSに基づいて実行層を構築し、CometBFTコンセンサスアルゴリズムと並行するデュアルチェーンアーキテクチャを形成します。
• 革新的なデータフォーマット標準："manuscripts"データフォーマット標準を導入し、暗号業界におけるデータの構造化と利用方法を最適化します。
• 暗号世界モデル：AIモデル技術を組み合わせ、ブロックチェーン取引を効果的に理解、予測し、相互作用できるAIモデルを構築する。

ChainbaseのAIモデルTheiaは、他のデータサービスプロトコルとの差別化の重要なハイライトです。TheiaはNVIDIAが開発したDORAモデルに基づき、オンチェーンとオフチェーンのデータおよび時空間活動を組み合わせて、暗号パターンを学習・分析し、因果推論に基づいて応答を行い、オンチェーンデータの潜在的な価値と規則を深く掘り下げて、ユーザーによりインテリジェントなデータサービスを提供します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

3.3 スペースと時間

Space and Time (SxT)は、検証可能な計算層を構築し、分散型データウェアハウス上でゼロ知識証明を拡張し、スマートコントラクト、大規模言語モデル、企業に信頼できるデータ処理を提供することを目的としています。

SxTはProof of SQL技術を導入しました。これは、分散型データウェアハウス上で実行されるSQLクエリが改ざんされず、検証可能であることを保証する革新的なゼロ知識証明技術です。Proof of SQLは暗号証明を生成し、クエリ結果の完全性と正確性を検証します。これにより、任意の検証者がデータの処理中に改ざんされていないことを独立して確認できます。

SxTは、マイクロソフトAI共同イノベーションラボと密接に協力し、生成的AIツールの研究開発を加速し、ユーザーが自然言語処理を通じてブロックチェーンデータを扱いやすくしています。Space and Time Studioでは、ユーザーが自然言語のクエリを入力すると、AIが自動的にそれをSQLに変換し、クエリ文を実行して、ユーザーが必要とする最終結果を提示します。

! 読み取り、分析するインデックス、Web3データインデックストラックを簡単に説明

結論と展望

ブロックチェーンデータインデックス技術は、最初のノードデータソースからデータ解析とインデクサーの発展を経て、最終的にAIによる全チェーンデータサービスへと進化し、段階的に改善されてきたプロセスを経ています。これらの技術の絶え間ない進化は、データアクセスの効率と正確性を向上させるだけでなく、ユーザーに前所未有のインテリジェントな体験をもたらしています。

未来を展望すると、AI技術やゼロ知識証明などの新技術の継続的な発展に伴い、ブロックチェーンデータサービスはさらにインテリジェントで安全になります。ブロックチェーンデータサービスはインフラストラクチャとして引き続き重要な役割を果たし、業界の進歩と革新に強力なサポートを提供します。