区块链数据索引的演进:从节点到AI赋能的全链数据服务

1 引言

从2017年第一批dApp问世,到如今各类区块链应用百花齐放,我们是否思考过这些dApp所使用的数据从何而来?

2024年,AI与Web3成为热点。在AI领域,数据就如同生命之源。正如植物需要阳光和水分,AI系统同样依赖海量数据来不断学习和进化。没有数据,再精妙的AI算法也难以发挥其应有的智能。

本文将从区块链数据可访问性的角度,深入分析行业发展过程中数据索引的演变,并对比老牌索引协议The Graph与新兴的Chainbase和Space and Time,探讨这两个结合AI技术的新协议在数据服务与产品架构方面的异同。

2 数据索引的繁与简:从区块链节点到全链数据库

2.1 数据源头:区块链节点

区块链被视为去中心化的记账本。节点是区块链网络的基础,负责记录、存储和传播所有链上交易数据。每个节点都有一份完整的区块链数据副本,维持网络的去中心化特性。但对普通用户来说,自建和维护节点并非易事。这不仅需要专业技能,还有高昂的硬件和带宽成本。普通节点的查询能力也有限,无法以开发人员需要的格式获取数据。因此,尽管理论上人人可运行节点,但实际上用户多依赖第三方服务。

为解决这一问题,RPC节点提供商应运而生。它们负责节点的成本和管理,通过RPC端点提供数据。用户无需自建节点就能访问区块链数据。公共RPC端点免费但有速率限制,可能影响dApp体验。私有RPC端点性能更好,但简单数据检索也需要大量通信,效率低下且难以扩展。不过,节点提供商标准化的API接口降低了数据访问门槛,为后续数据解析和应用奠定基础。

2.2 数据解析:从原型数据到可用数据

区块链节点提供的原始数据通常经过加密和编码,保证了完整性和安全性,但也增加了解析难度。对普通用户或开发者而言,直接处理这些数据需要大量技术知识和计算资源。

数据解析过程因此变得至关重要。通过将复杂原型数据转换为易理解和操作的格式,用户可更直观地利用这些数据。解析的成功与否直接影响区块链数据应用的效率,是整个索引流程中的关键步骤。

2.3 数据索引器的演进

随着区块链数据量增加,索引器需求日益增长。索引器组织链上数据并将其发送到数据库以便查询。它们索引区块链数据,并通过类SQL查询语言(如GraphQL API)使数据随时可用。索引器提供统一查询接口,让开发人员能用标准化语言快速准确检索信息,大大简化了流程。

不同类型的索引器优化数据检索方式各异:

1. 完整节点索引器:运行完整区块链节点直接提取数据,确保完整准确,但需大量存储和处理能力。
2. 轻量级索引器:依赖完整节点按需获取特定数据,减少存储需求但可能增加查询时间。
3. 专用索引器:针对特定数据类型或区块链优化检索,如NFT数据或DeFi交易。
4. 聚合索引器:从多个区块链和来源提取数据,包括链下信息,提供统一查询界面,适用于多链dApp。

目前,以太坊档案节点在Geth客户端中占用约13.5TB存储,Erigon客户端约3TB。随区块链增长,存储需求持续增加。面对庞大数据量,主流索引协议支持多链索引,并针对不同应用需求定制数据解析框架,如The Graph的"子图"框架。

索引器显著提升了数据索引和查询效率。相比传统RPC端点,索引器能高效索引大量数据并支持高速查询。用户可执行复杂查询,轻松过滤和分析数据。部分索引器还支持聚合多链数据源,避免多链dApp部署多个API。分布式运行提供更强安全性和性能,减少集中式RPC提供商可能带来的中断风险。

索引器通过预定义查询语言,让用户无需处理复杂底层数据就能直接获取所需信息。这大大提高了数据检索效率和可靠性,是区块链数据访问的重要创新。

2.4 全链数据库:向流优先对齐

使用索引节点查询数据通常意味着API成为处理链上数据的唯一途径。然而,项目进入扩展阶段时,往往需要更灵活的数据源,标准化API难以满足。随着应用需求复杂化,初级索引器及其标准化索引格式逐渐难以应对多样化查询需求,如搜索、跨链访问或链下数据映射。

现代数据管道架构中,"流优先"方法成为解决传统批处理局限性的方案,实现实时数据摄取、处理和分析。这种范式转变使组织能立即响应传入数据,几乎实时地得出洞察并决策。类似地,区块链数据服务提供商也朝着构建数据流的方向发展,传统索引服务商纷纷推出实时区块链数据流产品,如The Graph的Substreams、Goldsky的Mirror,以及Chainbase和SubSquid等基于区块链生成数据流的实时数据湖。

这些服务旨在解决实时解析区块链交易并提供全面查询能力的需求。正如"流优先"架构通过降低延迟和增强响应能力革新了传统数据处理方式,这些区块链数据流服务商也希望通过更先进成熟的数据源,支持更多应用开发并辅助链上数据分析。

通过现代数据管道视角重新审视链上数据挑战,我们得以全新角度看待数据管理、存储和提供的潜力。当我们将子图和以太坊ETL等索引器视为数据流而非最终输出时,便可设想一个能为任何业务用例量身定制高性能数据集的世界。

3 AI + Database? 深入对比The Graph, Chainbase, Space and Time

3.1 The Graph

The Graph网络通过去中心化节点网络实现多链数据索引和查询服务,便于开发者索引区块链数据并构建应用。其主要产品模式为数据查询执行市场和数据索引缓存市场,均服务于用户的查询需求。查询执行市场指消费者为所需数据选择合适索引节点付费,索引缓存市场则是索引节点根据子图历史热度、查询费和策展需求调配资源。

子图是The Graph网络的基础数据结构,定义如何从区块链提取并转换数据为可查询格式。任何人可创建子图,多个应用可重用,提升数据可复用性和使用效率。

The Graph网络由索引器、策展人、委托人和开发者四个角色构成,共同支持web3应用数据需求。各角色职责如下:

• 索引器:网络节点运营商,通过质押GRT参与网络,提供索引和查询处理服务。
• 委托者:将GRT质押给索引节点支持运营,从所委托节点赚取部分奖励。
• 策展人:负责信号哪些子图应被网络优先索引,确保有价值子图得到处理。
• 开发者:The Graph的主要用户,创建并提交子图至网络,等待数据需求得到满足。

目前The Graph已转向全面去中心化子图托管服务,参与方间有经济激励确保系统运转:

• 索引节点通过查询费用和部分GRT区块奖励赚取收益。
• 委托者从所支持索引节点获得部分奖励。
• 策展人若信号有价值子图,可从查询费用中获得部分奖励。

The Graph产品在AI浪潮中迅速发展。Semiotic Labs作为核心开发团队之一,致力利用AI技术优化索引定价和用户查询体验。目前开发的AutoAgora、Allocation Optimizer和AgentC工具在多方面提升了生态系统性能:

• AutoAgora引入动态定价机制,根据查询量和资源使用实时调整价格,优化定价策略,确保索引器竞争力和收入最大化。
• Allocation Optimizer解决子图资源分配难题,帮助索引器实现最佳配置,提升收入和性能。
• AgentC允许用户通过自然语言访问区块链数据,提升用户体验。

这些工具的应用使The Graph结合AI进一步提升了系统智能化和用户友好度。

3.2 Chainbase

Chainbase是一个全链数据网络,整合所有区块链数据于一个平台,便于开发者构建和维护应用。其独特功能包括:

• 实时数据湖:提供专门用于区块链数据流的实时数据湖,使数据生成即可被访问。
• 双链架构:基于Eigenlayer AVS构建执行层,与CometBFT共识算法形成并行双链架构。此设计增强跨链数据可编程性和可组合性,支持高吞吐量、低延迟和最终性,并通过双重质押提升网络安全性。
• 创新数据格式标准:引入"manuscripts"新数据格式标准,优化加密行业数据结构化和利用方式。
• 加密世界模型:结合AI模型技术,利用庞大区块链数据资源,打造能有效理解、预测区块链交易并与之交互的AI模型。目前已推出基础版模型Theia供公众使用。

这些功能使Chainbase在索引协议中脱颖而出,尤其注重实时数据可访问性、创新数据格式,以及通过链上和链下数据结合创建更智能模型以提升洞察力。

Chainbase的AI模型Theia是其区别于其他数据服务协议的关键。Theia基于NVIDIA开发的DORA模型,结合链上和链下数据及时空活动,学习分析加密模式,并通过因果推理做出响应,深入挖掘链上数据潜在价值和规律,为用户提供更智能化的数据服务。

AI赋能的数据服务使Chainbase不仅是区块链数据服务平台,更成为具有竞争力的智能化数据服务商。通过强大数据资源和AI主动分析,Chainbase能提供更广泛的数据洞察,并优化用户数据处理过程。

3.3 Space and Time

Space and Time (SxT)致力打造可验证的计算层,在去中心化数据仓库上扩展零知识证明,为智能合约、大语言模型和企业提供可信数据处理。目前已获2000万美元A轮融资,由Framework Ventures、Lightspeed Faction、Arrington Capital和Hivemind Capital领投。

在数据索引和验证领域,Space and Time引入创新技术路径——Proof of SQL。这是SxT开发的零知识证明技术,确保去中心化数据仓库上执行的SQL查询防篡改和可验证。运行查询时,Proof of SQL生成加密证明,验证查询结果完整性和准确性。证明附加在结果上,任何验证者(如智能合约)都可独立确认数据处理过程未被篡改。传统区块链网络通常依赖共识机制验证数据真实性,而Proof of SQL实现更高效的数据验证方式。在SxT系统中,一个节点负责数据获取,其他节点通过zk技术验证数据真实性。这改变了共识机制下多节点重复索引数据到达成共识的资源损耗,提升系统整体性能。随技术成熟,它为重视数据可靠性