Evolução da indexação de dados da Blockchain: de Nós a serviços de dados de toda a cadeia capacitados por IA

1 Introdução

Desde o surgimento do primeiro lote de dApps em 2017 até hoje, onde diversas aplicações Blockchain florescem, já pensamos de onde vêm os dados utilizados por esses dApps?

Em 2024, a IA e o Web3 tornam-se temas em destaque. No campo da IA, os dados são como a fonte da vida. Assim como as plantas precisam de luz solar e água, os sistemas de IA também dependem de enormes quantidades de dados para continuar a aprender e evoluir. Sem dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em demonstrar sua inteligência adequada.

Este artigo irá analisar a evolução do índice de dados no processo de desenvolvimento da indústria sob a perspectiva da acessibilidade dos dados da blockchain, e comparar o protocolo de índice estabelecido The Graph com os emergentes Chainbase e Space and Time, discutindo as semelhanças e diferenças entre esses dois novos protocolos que combinam tecnologia de IA em termos de serviços de dados e arquitetura de produtos.

2 A complexidade e simplicidade do índice de dados: do nó da blockchain ao banco de dados de toda a cadeia

2.1 Fonte de Dados: Nó Blockchain

A Blockchain é vista como um livro de contabilidade descentralizado. Os Nós são a base da rede Blockchain, responsáveis por gravar, armazenar e disseminar todos os dados de transações na cadeia. Cada Nó possui uma cópia completa dos dados da Blockchain, mantendo a característica de descentralização da rede. Mas para usuários comuns, criar e manter um Nó não é tarefa fácil. Isso não só requer habilidades profissionais, como também altos custos de hardware e largura de banda. A capacidade de consulta dos Nós comuns também é limitada, não conseguindo obter dados no formato necessário para os desenvolvedores. Portanto, embora teoricamente qualquer pessoa possa executar um Nó, na prática os usuários dependem muito de serviços de terceiros.

Para resolver esse problema, surgiram os provedores de nós RPC. Eles são responsáveis pelos custos e pela gestão dos nós, fornecendo dados através de pontos finais RPC. Os usuários podem acessar os dados da blockchain sem precisar criar seus próprios nós. Os pontos finais RPC públicos são gratuitos, mas possuem limitações de taxa, o que pode afetar a experiência do dApp. Os pontos finais RPC privados têm desempenho melhor, mas a simples recuperação de dados também requer uma grande quantidade de comunicação, sendo ineficiente e difícil de escalar. No entanto, as interfaces de API padronizadas dos provedores de nós diminuem a barreira de acesso aos dados, estabelecendo uma base para a análise e aplicação de dados subsequentes.

2.2 Análise de Dados: dos Dados Prototípicos aos Dados Utilizáveis

Os dados brutos fornecidos pelos nós de blockchain geralmente são criptografados e codificados, garantindo a integridade e a segurança, mas também aumentando a dificuldade de análise. Para usuários comuns ou desenvolvedores, lidar diretamente com esses dados requer uma quantidade considerável de conhecimento técnico e recursos computacionais.

O processo de análise de dados torna-se, portanto, crucial. Ao converter dados de protótipos complexos em um formato compreensível e manipulável, os usuários podem aproveitar esses dados de forma mais intuitiva. O sucesso ou fracasso da análise afeta diretamente a eficiência da aplicação de dados do Blockchain, sendo um passo chave em todo o processo de indexação.

2.3 Evolução do indexador de dados

Com o aumento da quantidade de dados da blockchain, a demanda por indexadores está a crescer. Os indexadores organizam os dados na cadeia e enviam-nos para a base de dados para consulta. Eles indexam os dados da blockchain e tornam os dados disponíveis a qualquer momento através de uma linguagem de consulta semelhante ao SQL (, como a API GraphQL ). Os indexadores oferecem uma interface de consulta unificada, permitindo que os desenvolvedores recuperem informações de forma rápida e precisa com uma linguagem padronizada, simplificando bastante o processo.

Diferentes tipos de indexadores otimizam a forma de recuperação de dados de maneiras distintas:

1. Indexador de nó completo: executa um nó de Blockchain completo para extrair dados diretamente, garantindo precisão e integridade, mas requer uma grande capacidade de armazenamento e processamento.
2. Indexador leve: depende de nós completos para obter dados específicos conforme necessário, reduzindo a necessidade de armazenamento, mas podendo aumentar o tempo de consulta.
3. Indexador dedicado: otimização de pesquisa para tipos de dados específicos ou Blockchain, como dados de NFT ou transações DeFi.
4. Agregador de Índices: extrai dados de várias Blockchains e fontes, incluindo informações off-chain, fornecendo uma interface de consulta unificada, adequada para dApps multi-chain.

Atualmente, os nós de arquivo do Ethereum ocupam cerca de 13,5 TB de armazenamento no cliente Geth e cerca de 3 TB no cliente Erigon. Com o crescimento do Blockchain, a demanda por armazenamento continua a aumentar. Diante de um grande volume de dados, os protocolos de índice mainstream suportam a indexação multi-chain e personalizam estruturas de análise de dados para diferentes necessidades de aplicação, como a estrutura "subgráfico" do The Graph.

O indexador melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, o indexador pode indexar grandes volumes de dados de forma eficiente e suportar consultas rápidas. Os usuários podem executar consultas complexas, filtrando e analisando dados com facilidade. Alguns indexadores também suportam a agregação de fontes de dados de várias cadeias, evitando que aplicativos descentralizados de várias cadeias precisem implantar várias APIs. A operação distribuída oferece maior segurança e desempenho, reduzindo o risco de interrupções que podem ser causadas por provedores RPC centralizados.

O indexador permite que os usuários obtenham diretamente as informações necessárias sem ter que lidar com dados subjacentes complexos, através de uma linguagem de consulta predefinida. Isso aumentou significativamente a eficiência e a confiabilidade da recuperação de dados, sendo uma inovação importante no acesso a dados de Blockchain.

2.4 Base de dados de cadeia completa: Alinhamento prioritário ao fluxo

Usar nós de índice para consultar dados geralmente significa que a API se torna a única maneira de processar dados na blockchain. No entanto, quando o projeto entra na fase de escalabilidade, muitas vezes é necessário ter fontes de dados mais flexíveis, pois a API padronizada se torna difícil de atender. Com a complexidade crescente das demandas de aplicação, os indexadores primários e seus formatos de índice padronizados gradualmente se tornam incapazes de lidar com a diversidade das necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia.

Na arquitetura moderna de pipelines de dados, o método "prioritário ao fluxo" tornou-se uma solução para as limitações do processamento em lotes tradicional, permitindo a ingestão, processamento e análise de dados em tempo real. Essa mudança de paradigma permite que as organizações respondam imediatamente aos dados que chegam, obtendo insights e tomando decisões quase em tempo real. Da mesma forma, os provedores de serviços de dados em blockchain também estão se desenvolvendo na direção da construção de fluxos de dados, com provedores de índices tradicionais lançando produtos de fluxo de dados em tempo real de blockchain, como os Substreams da The Graph, o Mirror da Goldsky e lagos de dados em tempo real gerados por blockchain, como Chainbase e SubSquid.

Estes serviços visam resolver a necessidade de analisar em tempo real transações de Blockchain e fornecer capacidades de consulta abrangentes. Assim como a arquitetura "prioridade de fluxo" inova os métodos tradicionais de processamento de dados ao reduzir a latência e aumentar a capacidade de resposta, esses fornecedores de serviços de fluxo de dados de Blockchain também esperam apoiar mais desenvolvimento de aplicações e auxiliar na análise de dados na cadeia por meio de fontes de dados mais avançadas e maduras.

Ao reconsiderar os desafios dos dados on-chain através da perspectiva de modernos pipelines de dados, conseguimos observar o potencial da gestão, armazenamento e fornecimento de dados sob uma nova luz. Quando consideramos indexadores como Subgraph e Ethereum ETL como fluxos de dados em vez de saídas finais, podemos imaginar um mundo onde conjuntos de dados de alto desempenho possam ser personalizados para qualquer caso de uso empresarial.

3 AI + Base de Dados? Análise aprofundada do The Graph, Chainbase, Space and Time

3.1 The Graph

A rede The Graph oferece serviços de indexação e consulta de dados multi-chain através de uma rede descentralizada de nós, facilitando aos desenvolvedores a indexação de dados de blockchain e a construção de aplicações. Seu principal modelo de produto é o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, ambos atendendo às necessidades de consulta dos usuários. O mercado de execução de consultas refere-se ao pagamento que os consumidores fazem para selecionar nós de indexação adequados para os dados necessários, enquanto o mercado de cache de indexação é onde os nós de indexação alocam recursos com base na popularidade histórica do subgrafo, taxas de consulta e necessidades de curadoria.

O subgrafo é a estrutura de dados fundamental da rede The Graph, definindo como extrair e transformar dados da blockchain em um formato consultável. Qualquer pessoa pode criar um subgrafo, e várias aplicações podem reutilizá-lo, aumentando a reutilização de dados e a eficiência de uso.

A rede The Graph é composta por quatro papéis: indexadores, curadores, delegadores e desenvolvedores, que apoiam juntos as necessidades de dados das aplicações web3. As responsabilidades de cada papel são as seguintes:

• Indexador: Operador de nó de rede, participa na rede através da aposta de GRT, fornecendo serviços de indexação e processamento de consultas.
• Mandatário: Pagar GRT para o nó de índice para apoiar a operação, ganhando uma parte das recompensas do nó delegado.
• Curador: responsável por quais subgráficos de sinal devem ser indexados prioritariamente pela rede, garantindo que os subgráficos valiosos sejam processados.
• Desenvolvedor: Os principais usuários do The Graph, criam e submetem subgráficos à rede, aguardando que a demanda por dados seja atendida.

Atualmente, The Graph passou a oferecer um serviço de hospedagem de subgráficos totalmente descentralizado, com incentivos econômicos entre as partes envolvidas para garantir o funcionamento do sistema:

• O nó de índice ganha receita através de taxas de consulta e parte da recompensa do bloco GRT.
• O comitente recebe uma parte da recompensa dos nós de índice suportados.
• Se o curador achar que o sinal tem um valor de subgráfico, pode receber uma parte da recompensa das taxas de consulta.

O produto The Graph está a desenvolver-se rapidamente na onda da IA. A Semiotic Labs, como uma das equipas de desenvolvimento principais, está empenhada em utilizar a tecnologia de IA para otimizar a indexação, precificação e a experiência de consulta dos utilizadores. Atualmente, as ferramentas AutoAgora, Allocation Optimizer e AgentC que estão a ser desenvolvidas melhoraram o desempenho do ecossistema em várias áreas:

• AutoAgora introduz um mecanismo de precificação dinâmica, ajustando os preços em tempo real com base na quantidade de consultas e no uso de recursos, otimizando a estratégia de preços para garantir a competitividade do indexador e a maximização da receita.
• Allocation Optimizer resolve o problema de alocação de recursos de subgrafo, ajudando o indexador a alcançar a melhor configuração, aumentando a receita e o desempenho.
• AgentC permite que os usuários acessem dados da Blockchain através de linguagem natural, melhorando a experiência do usuário.

A aplicação dessas ferramentas permitiu que The Graph, em conjunto com a IA, melhorasse ainda mais a inteligência do sistema e a amigabilidade para o usuário.

3.2 Chainbase

Chainbase é uma rede de dados de blockchain completa, que integra todos os dados de blockchain em uma plataforma, facilitando o desenvolvimento e a manutenção de aplicações pelos desenvolvedores. Suas funcionalidades únicas incluem:

• Lago de dados em tempo real: fornece um lago de dados em tempo real dedicado ao fluxo de dados da Blockchain, permitindo que os dados gerados sejam acessados imediatamente.
• Arquitetura de dupla cadeia: camada de execução construída com base no Eigenlayer AVS, formando uma arquitetura de dupla cadeia paralela com o algoritmo de consenso CometBFT. Este design aumenta a programabilidade e a combinabilidade de dados entre cadeias, suportando alta taxa de transferência, baixa latência e finalização, e melhora a segurança da rede através da dupla garantia.
• Padrão de formato de dados inovador: introdução do novo padrão de formato de dados "manuscripts", otimizando a estruturação e utilização de dados na indústria de criptografia.
• Modelo de mundo cripto: combinando tecnologia de modelo de IA, utilizando vastos recursos de dados de Blockchain, criando um modelo de IA que pode entender, prever e interagir efetivamente com transações de Blockchain. Atualmente, foi lançado o modelo básico Theia para uso público.

Essas funcionalidades fazem com que o Chainbase se destaque no protocolo de indexação, com ênfase na acessibilidade de dados em tempo real, formatos de dados inovadores e na criação de modelos mais inteligentes para melhorar a percepção, combinando dados on-chain e off-chain.

O modelo de IA Theia da Chainbase é a chave que o diferencia de outros protocolos de serviços de dados. Theia é baseado no modelo DORA desenvolvido pela NVIDIA, combinando dados on-chain e off-chain com atividades temporais e espaciais, aprendendo e analisando padrões de criptografia, e respondendo por meio de raciocínio causal, explorando profundamente o valor e as leis potenciais dos dados on-chain, oferecendo aos usuários serviços de dados mais inteligentes.

Os serviços de dados potenciados por IA tornam a Chainbase não apenas uma plataforma de serviços de dados Blockchain, mas também um fornecedor de serviços de dados inteligentes competitivo. Com recursos de dados poderosos e análise proativa de IA, a Chainbase pode oferecer insights de dados mais amplos e otimizar o processo de tratamento de dados dos usuários.

3.3 Espaço e Tempo

Space and Time (SxT) está dedicado a criar uma camada de computação verificável, expandindo provas de conhecimento zero em um armazém de dados descentralizado, para fornecer processamento de dados confiáveis para contratos inteligentes, grandes modelos de linguagem e empresas. Atualmente, recebeu 20 milhões de dólares em financiamento da Série A, liderado por Framework Ventures, Lightspeed Faction, Arrington Capital e Hivemind Capital.

No campo da indexação e validação de dados, a Space and Time introduziu uma abordagem tecnológica inovadora — Proof of SQL. Esta é uma tecnologia de prova de conhecimento zero desenvolvida pela SxT, que garante que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de adulteração e verificáveis. Ao executar consultas, a Proof of SQL gera provas criptográficas que verificam a integridade e a precisão dos resultados das consultas. A prova é anexada aos resultados, e qualquer verificador (, como um contrato inteligente ), pode confirmar de forma independente que o processo de tratamento de dados não foi adulterado. Redes de blockchain tradicionais geralmente dependem de mecanismos de consenso para validar a autenticidade dos dados, enquanto a Proof of SQL realiza uma forma de validação de dados mais eficiente. No sistema SxT, um nó é responsável pela obtenção de dados, enquanto outros nós verificam a autenticidade dos dados através da tecnologia zk. Isso muda a perda de recursos associada à indexação repetida de dados por múltiplos nós sob um mecanismo de consenso, melhorando o desempenho geral do sistema. À medida que a tecnologia amadurece, ela se torna uma prioridade para a confiabilidade dos dados.