Evolução e Perspetivas Futuras da Tecnologia de Indexação de Dados em Blockchain

1. Introdução

Desde as primeiras aplicações de Blockchain até os atuais dApps florescentes nas áreas financeira, de jogos e sociais, o ecossistema de Blockchain passou por enormes transformações. Nesse processo, a fonte de dados em que as interações de dApp se baseiam tornou-se gradualmente o foco de atenção da indústria.

Em 2024, a fusão da IA com o Web3 tornou-se um tópico quente. No campo da inteligência artificial, os dados são como a fonte de vida para seu crescimento e evolução. Assim como as plantas precisam de sol e água para crescerem saudáveis, os sistemas de IA também dependem de grandes volumes de dados para aprender e pensar continuamente. Sem o suporte dos dados, mesmo os algoritmos de IA mais sofisticados têm dificuldade em demonstrar a inteligência e a eficácia que deveriam.

Este artigo irá explorar em profundidade a evolução da acessibilidade dos dados da Blockchain, analisar a evolução das tecnologias de indexação de dados na indústria e comparar vários dos principais protocolos de indexação de dados, com especial atenção sobre como os protocolos emergentes utilizam a tecnologia de IA para otimizar serviços de dados e arquiteturas de produtos.

2. A evolução do índice de dados: de nós a banco de dados de toda a cadeia

2.1 Fonte de dados: Blockchain nó

Blockchain é frequentemente descrito como um livro de registro descentralizado. Os nós são a base de toda a rede, responsáveis por registrar, armazenar e disseminar todos os dados de transações na cadeia. Cada nó mantém uma cópia completa dos dados do blockchain, garantindo a característica de descentralização da rede. No entanto, para os usuários comuns, construir e manter um nó não é uma tarefa fácil, não apenas requer habilidades especializadas, mas também envolve altos custos de hardware e largura de banda. Além disso, a capacidade de consulta dos nós comuns é limitada, dificultando a satisfação das necessidades dos desenvolvedores.

Para resolver esse problema, surgiram os provedores de nós RPC. Eles assumem os custos e a gestão dos nós, oferecendo serviços de dados por meio de pontos finais RPC. Embora os pontos finais RPC públicos sejam gratuitos, eles têm limitações de taxa que podem afetar a experiência do usuário em dApps. Os pontos finais RPC privados oferecem um desempenho melhor, mas têm eficiência mais baixa para consultas complexas e são difíceis de escalar e compatibilizar entre redes. No entanto, a interface API padronizada dos provedores de nós reduz a barreira de acesso dos usuários aos dados na blockchain, estabelecendo uma base para a posterior análise de dados e aplicações.

2.2 Análise de Dados: Dos Dados Brutos aos Dados Utilizáveis

Os dados brutos fornecidos pelos nós de Blockchain geralmente são processados através de criptografia e codificação, o que garante a integridade e segurança dos dados, mas aumenta a dificuldade de análise. Para usuários comuns e desenvolvedores, lidar diretamente com esses dados requer uma quantidade significativa de conhecimento técnico e recursos computacionais.

O processo de análise de dados torna-se especialmente importante neste contexto. Ao transformar dados brutos complexos em um formato mais compreensível e manipulável, os usuários podem utilizar esses dados de forma mais intuitiva. A qualidade da análise afeta diretamente a eficiência e a eficácia das aplicações de dados em Blockchain, sendo um elo crucial em todo o processo de indexação de dados.

2.3 Desenvolvimento do indexador de dados

Com o aumento explosivo do volume de dados da Blockchain, a demanda por indexadores de dados tem se tornado cada vez mais evidente. A principal função dos indexadores é organizar os dados na cadeia e armazená-los em um banco de dados para consulta. Eles indexam os dados da Blockchain e oferecem uma interface de linguagem de consulta semelhante ao SQL (como GraphQL), tornando os dados disponíveis a qualquer momento. Essa interface de consulta unificada permite que os desenvolvedores recuperem rapidamente e com precisão as informações necessárias, simplificando consideravelmente todo o processo.

Diferentes tipos de indexadores têm suas vantagens:

1. Indexador de nodos completos: extrai dados diretamente de nodos completos, garantindo que os dados sejam completos e precisos, mas requer muita capacidade de armazenamento e processamento.
2. Indexador leve: depende de nós completos para obter dados específicos, reduzindo a necessidade de armazenamento, mas pode aumentar o tempo de consulta.
3. Indexador dedicado: otimizado para tipos de dados específicos ou Blockchain, como dados de NFT ou transações DeFi.
4. Agregador de índices: extrai dados de várias Blockchains e fontes, incluindo informações off-chain, oferecendo uma interface de consulta unificada, adequada para dApps multi-chain.

Atualmente, as necessidades de armazenamento dos nós de arquivo Ethereum em diferentes clientes variam de 3TB a 13,5TB, e continuam a aumentar à medida que o Blockchain cresce. Diante de um volume de dados tão grande, os protocolos de indexação mais populares não apenas suportam indexação em múltiplas cadeias, mas também personalizaram estruturas de análise de dados para diferentes necessidades de aplicação.

O surgimento do indexador melhorou significativamente a eficiência de indexação e consulta de dados. Em comparação com os pontos finais RPC tradicionais, o indexador pode processar grandes volumes de dados de forma eficiente, suportando consultas complexas e filtragem de dados. Alguns indexadores também suportam a agregação de múltiplas fontes de dados de cadeias, evitando o problema de dApps de múltiplas cadeias precisarem implementar várias APIs. Através da execução distribuída, o indexador oferece maior segurança e desempenho, reduzindo o risco de interrupções que os fornecedores RPC centralizados podem causar.

2.4 Base de dados de toda a cadeia: alinhamento prioritário ao fluxo

À medida que a escala do projeto aumenta, as APIs padronizadas tornam-se insuficientes para atender à crescente complexidade das necessidades de consulta, como pesquisa, acesso entre cadeias ou mapeamento de dados fora da cadeia. A abordagem "prioridade ao fluxo" na arquitetura moderna de pipelines de dados tornou-se uma solução para superar as limitações do processamento em lote tradicional, permitindo o processamento e análise de dados em tempo real.

Os fornecedores de serviços de dados de Blockchain também estão a desenvolver-se na direção da construção de fluxos de dados. Os prestadores de serviços de indexação tradicionais lançaram produtos de fluxo de dados de Blockchain em tempo real, como os Substreams de um determinado protocolo e o Mirror de uma determinada empresa. Ao mesmo tempo, novos fornecedores como uma determinada plataforma de dados e um determinado protocolo também oferecem lagos de dados em tempo real gerados com base em Blockchain.

Estes serviços visam resolver a necessidade de analisar transações em Blockchain em tempo real e fornecer capacidades de consulta abrangentes. Ao reconsiderar a gestão de dados em cadeia através da perspectiva de modernos pipelines de dados, podemos explorar mais possibilidades de armazenamento e utilização de dados. Ver indexadores como Subgraph e ETL do Ethereum como fluxos de dados e não como saídas finais abre novas possibilidades para a personalização de conjuntos de dados de alto desempenho.

3. A combinação de IA e bases de dados: comparação dos principais protocolos

3.1 Um protocolo de índice descentralizado

O protocolo oferece serviços de indexação e consulta de dados multi-chain através de uma rede de nós descentralizados. Seus produtos principais incluem o mercado de execução de consultas de dados e o mercado de cache de indexação de dados, atendendo às necessidades de consulta dos usuários.

A estrutura de dados básica do protocolo é o "subgrafo", que define como extrair e converter dados da Blockchain em um formato consultável. A rede é composta por quatro papéis: indexadores, curadores, delegados e desenvolvedores, que garantem o funcionamento do sistema através de incentivos econômicos.

O protocolo teve recentemente avanços na aplicação de IA. A equipe de desenvolvimento central do ecossistema criou várias ferramentas de IA, como mecanismos de preços dinâmicos, otimizadores de alocação de recursos e ferramentas de consulta em linguagem natural, melhorando a inteligência do sistema e a facilidade de uso para os usuários.

3.2 Rede de dados de cadeia completa

Esta é uma plataforma que integra todos os dados de Blockchain, oferecendo um lago de dados em tempo real, uma arquitetura de dupla cadeia, padrões de formatos de dados inovadores e um modelo de mundo criptográfico.

A plataforma é construída com uma camada de execução baseada em uma determinada tecnologia, formando uma arquitetura de dupla cadeia paralela com um determinado algoritmo de consenso, o que aumenta a programabilidade e a combinabilidade dos dados entre cadeias. A plataforma introduziu um novo padrão de formato de dados chamado "manuscripts", otimizando a estruturação e a utilização dos dados na indústria de criptomoedas.

A plataforma combina tecnologia de modelos de IA para criar um modelo de IA que pode entender, prever transações em Blockchain e interagir com elas. Atualmente, foi lançado um modelo básico para uso público, que é baseado na tecnologia desenvolvida por uma empresa, combinando dados on-chain e off-chain, bem como atividades temporais e espaciais, para explorar profundamente o valor e os padrões potenciais dos dados on-chain.

3.3 Uma camada de cálculo verificável

Este projeto visa criar uma camada de computação verificável, expandindo provas de conhecimento zero sobre armazéns de dados descentralizados, para fornecer processamento de dados confiáveis para contratos inteligentes, grandes modelos de linguagem e empresas.

O projeto introduziu uma inovadora tecnologia de prova de zero conhecimento, garantindo que as consultas SQL executadas em armazéns de dados descentralizados sejam à prova de manipulação e verificáveis. Esta tecnologia mudou a maneira como as redes tradicionais de Blockchain dependem de mecanismos de consenso para validar a veracidade dos dados, melhorando o desempenho geral do sistema.

O projeto colabora com o laboratório de IA de uma grande empresa de tecnologia para desenvolver ferramentas de IA generativa, simplificando o processo de os usuários processarem dados de blockchain através de linguagem natural. Os usuários podem inserir consultas em linguagem natural, e a IA converte automaticamente para SQL e executa a consulta, apresentando o resultado final.

Conclusão e Perspectivas

A tecnologia de indexação de dados em blockchain passou por um processo evolutivo desde a fonte de dados dos nós, passando pela análise e indexação de dados, até os serviços de dados de toda a cadeia capacitados por IA. Este processo tem continuamente melhorado a eficiência e a precisão do acesso aos dados, proporcionando uma experiência mais inteligente para os usuários.

No futuro, com o desenvolvimento de novas tecnologias como a IA e as provas de conhecimento zero, os serviços de dados de blockchain tornar-se-ão ainda mais inteligentes e seguros. Como infraestrutura, esses serviços continuarão a fornecer suporte importante para o progresso e a inovação no setor.