區塊鏈數據索引的演進:從節點到AI賦能的全鏈數據服務

1 引言

從2017年第一批dApp問世,到如今各類區塊鏈應用百花齊放,我們是否思考過這些dApp所使用的數據從何而來?

2024年,AI與Web3成爲熱點。在AI領域,數據就如同生命之源。正如植物需要陽光和水分,AI系統同樣依賴海量數據來不斷學習和進化。沒有數據,再精妙的AI算法也難以發揮其應有的智能。

本文將從區塊鏈數據可訪問性的角度,深入分析行業發展過程中數據索引的演變,並對比老牌索引協議The Graph與新興的Chainbase和Space and Time,探討這兩個結合AI技術的新協議在數據服務與產品架構方面的異同。

2 數據索引的繁與簡:從區塊鏈節點到全鏈數據庫

2.1 數據源頭:區塊鏈節點

區塊鏈被視爲去中心化的記帳本。節點是區塊鏈網路的基礎,負責記錄、存儲和傳播所有鏈上交易數據。每個節點都有一份完整的區塊鏈數據副本,維持網路的去中心化特性。但對普通用戶來說,自建和維護節點並非易事。這不僅需要專業技能,還有高昂的硬件和帶寬成本。普通節點的查詢能力也有限,無法以開發人員需要的格式獲取數據。因此,盡管理論上人人可運行節點,但實際上用戶多依賴第三方服務。

爲解決這一問題,RPC節點提供商應運而生。它們負責節點的成本和管理,通過RPC端點提供數據。用戶無需自建節點就能訪問區塊鏈數據。公共RPC端點免費但有速率限制,可能影響dApp體驗。私有RPC端點性能更好,但簡單數據檢索也需要大量通信,效率低下且難以擴展。不過,節點提供商標準化的API接口降低了數據訪問門檻,爲後續數據解析和應用奠定基礎。

2.2 數據解析:從原型數據到可用數據

區塊鏈節點提供的原始數據通常經過加密和編碼,保證了完整性和安全性,但也增加了解析難度。對普通用戶或開發者而言,直接處理這些數據需要大量技術知識和計算資源。

數據解析過程因此變得至關重要。通過將復雜原型數據轉換爲易理解和操作的格式,用戶可更直觀地利用這些數據。解析的成功與否直接影響區塊鏈數據應用的效率,是整個索引流程中的關鍵步驟。

2.3 數據索引器的演進

隨着區塊鏈數據量增加,索引器需求日益增長。索引器組織鏈上數據並將其發送到數據庫以便查詢。它們索引區塊鏈數據,並通過類SQL查詢語言(如GraphQL API)使數據隨時可用。索引器提供統一查詢接口,讓開發人員能用標準化語言快速準確檢索信息,大大簡化了流程。

不同類型的索引器優化數據檢索方式各異:

1. 完整節點索引器:運行完整區塊鏈節點直接提取數據,確保完整準確,但需大量存儲和處理能力。
2. 輕量級索引器:依賴完整節點按需獲取特定數據,減少存儲需求但可能增加查詢時間。
3. 專用索引器:針對特定數據類型或區塊鏈優化檢索,如NFT數據或DeFi交易。
4. 聚合索引器:從多個區塊鏈和來源提取數據,包括鏈下信息,提供統一查詢界面,適用於多鏈dApp。

目前,以太坊檔案節點在Geth客戶端中佔用約13.5TB存儲,Erigon客戶端約3TB。隨區塊鏈增長,存儲需求持續增加。面對龐大數據量,主流索引協議支持多鏈索引,並針對不同應用需求定制數據解析框架,如The Graph的"子圖"框架。

索引器顯著提升了數據索引和查詢效率。相比傳統RPC端點,索引器能高效索引大量數據並支持高速查詢。用戶可執行復雜查詢,輕鬆過濾和分析數據。部分索引器還支持聚合多鏈數據源,避免多鏈dApp部署多個API。分布式運行提供更強安全性和性能,減少集中式RPC提供商可能帶來的中斷風險。

索引器通過預定義查詢語言,讓用戶無需處理復雜底層數據就能直接獲取所需信息。這大大提高了數據檢索效率和可靠性,是區塊鏈數據訪問的重要創新。

2.4 全鏈數據庫:向流優先對齊

使用索引節點查詢數據通常意味着API成爲處理鏈上數據的唯一途徑。然而,項目進入擴展階段時,往往需要更靈活的數據源,標準化API難以滿足。隨着應用需求復雜化,初級索引器及其標準化索引格式逐漸難以應對多樣化查詢需求,如搜索、跨鏈訪問或鏈下數據映射。

現代數據管道架構中,"流優先"方法成爲解決傳統批處理局限性的方案,實現實時數據攝取、處理和分析。這種範式轉變使組織能立即響應傳入數據,幾乎實時地得出洞察並決策。類似地,區塊鏈數據服務提供商也朝着構建數據流的方向發展,傳統索引服務商紛紛推出實時區塊鏈數據流產品,如The Graph的Substreams、Goldsky的Mirror,以及Chainbase和SubSquid等基於區塊鏈生成數據流的實時數據湖。

這些服務旨在解決實時解析區塊鏈交易並提供全面查詢能力的需求。正如"流優先"架構通過降低延遲和增強響應能力革新了傳統數據處理方式,這些區塊鏈數據流服務商也希望通過更先進成熟的數據源,支持更多應用開發並輔助鏈上數據分析。

通過現代數據管道視角重新審視鏈上數據挑戰,我們得以全新角度看待數據管理、存儲和提供的潛力。當我們將子圖和以太坊ETL等索引器視爲數據流而非最終輸出時,便可設想一個能爲任何業務用例量身定制高性能數據集的世界。

3 AI + Database? 深入對比The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph網路通過去中心化節點網路實現多鏈數據索引和查詢服務,便於開發者索引區塊鏈數據並構建應用。其主要產品模式爲數據查詢執行市場和數據索引緩存市場,均服務於用戶的查詢需求。查詢執行市場指消費者爲所需數據選擇合適索引節點付費,索引緩存市場則是索引節點根據子圖歷史熱度、查詢費和策展需求調配資源。

子圖是The Graph網路的基礎數據結構,定義如何從區塊鏈提取並轉換數據爲可查詢格式。任何人可創建子圖,多個應用可重用,提升數據可復用性和使用效率。

The Graph網路由索引器、策展人、委托人和開發者四個角色構成,共同支持web3應用數據需求。各角色職責如下:

• 索引器:網路節點運營商,通過質押GRT參與網路,提供索引和查詢處理服務。
• 委托者:將GRT質押給索引節點支持運營,從所委托節點賺取部分獎勵。
• 策展人:負責信號哪些子圖應被網路優先索引,確保有價值子圖得到處理。
• 開發者:The Graph的主要用戶,創建並提交子圖至網路,等待數據需求得到滿足。

目前The Graph已轉向全面去中心化子圖托管服務,參與方間有經濟激勵確保系統運轉:

• 索引節點通過查詢費用和部分GRT區塊獎勵賺取收益。
• 委托者從所支持索引節點獲得部分獎勵。
• 策展人若信號有價值子圖,可從查詢費用中獲得部分獎勵。

The Graph產品在AI浪潮中迅速發展。Semiotic Labs作爲核心開發團隊之一,致力利用AI技術優化索引定價和用戶查詢體驗。目前開發的AutoAgora、Allocation Optimizer和AgentC工具在多方面提升了生態系統性能:

• AutoAgora引入動態定價機制,根據查詢量和資源使用實時調整價格,優化定價策略,確保索引器競爭力和收入最大化。
• Allocation Optimizer解決子圖資源分配難題,幫助索引器實現最佳配置,提升收入和性能。
• AgentC允許用戶通過自然語言訪問區塊鏈數據,提升用戶體驗。

這些工具的應用使The Graph結合AI進一步提升了系統智能化和用戶友好度。

3.2 Chainbase

Chainbase是一個全鏈數據網路,整合所有區塊鏈數據於一個平台,便於開發者構建和維護應用。其獨特功能包括:

• 實時數據湖:提供專門用於區塊鏈數據流的實時數據湖,使數據生成即可被訪問。
• 雙鏈架構:基於Eigenlayer AVS構建執行層,與CometBFT共識算法形成並行雙鏈架構。此設計增強跨鏈數據可編程性和可組合性,支持高吞吐量、低延遲和最終性,並通過雙重質押提升網路安全性。
• 創新數據格式標準:引入"manuscripts"新數據格式標準,優化加密行業數據結構化和利用方式。
• 加密世界模型:結合AI模型技術,利用龐大區塊鏈數據資源,打造能有效理解、預測區塊鏈交易並與之交互的AI模型。目前已推出基礎版模型Theia供公衆使用。

這些功能使Chainbase在索引協議中脫穎而出,尤其注重實時數據可訪問性、創新數據格式,以及通過鏈上和鏈下數據結合創建更智能模型以提升洞察力。

Chainbase的AI模型Theia是其區別於其他數據服務協議的關鍵。Theia基於NVIDIA開發的DORA模型,結合鏈上和鏈下數據及時空活動,學習分析加密模式,並通過因果推理做出響應,深入挖掘鏈上數據潛在價值和規律,爲用戶提供更智能化的數據服務。

AI賦能的數據服務使Chainbase不僅是區塊鏈數據服務平台,更成爲具有競爭力的智能化數據服務商。通過強大數據資源和AI主動分析,Chainbase能提供更廣泛的數據洞察,並優化用戶數據處理過程。

3.3 Space and Time

Space and Time (SxT)致力打造可驗證的計算層,在去中心化數據倉庫上擴展零知識證明,爲智能合約、大語言模型和企業提供可信數據處理。目前已獲2000萬美元A輪融資,由Framework Ventures、Lightspeed Faction、Arrington Capital和Hivemind Capital領投。

在數據索引和驗證領域,Space and Time引入創新技術路徑——Proof of SQL。這是SxT開發的零知識證明技術,確保去中心化數據倉庫上執行的SQL查詢防篡改和可驗證。運行查詢時,Proof of SQL生成加密證明,驗證查詢結果完整性和準確性。證明附加在結果上,任何驗證者(如智能合約)都可獨立確認數據處理過程未被篡改。傳統區塊鏈網路通常依賴共識機制驗證數據真實性,而Proof of SQL實現更高效的數據驗證方式。在SxT系統中,一個節點負責數據獲取,其他節點通過zk技術驗證數據真實性。這改變了共識機制下多節點重復索引數據到達成共識的資源損耗,提升系統整體性能。隨技術成熟,它爲重視數據可靠性