Évolution de l'indexation des données Blockchain : des Nœuds aux services de données de chaîne complète habilités par l'IA

1 Introduction

Depuis l'émergence des premiers dApps en 2017, jusqu'à aujourd'hui où diverses applications Blockchain fleurissent, avons-nous réfléchi à l'origine des données utilisées par ces dApps ?

En 2024, l'IA et le Web3 deviennent des sujets d'actualité. Dans le domaine de l'IA, les données sont comme la source de la vie. Tout comme les plantes ont besoin de lumière et d'eau, les systèmes d'IA dépendent également d'un volume massif de données pour continuer à apprendre et à évoluer. Sans données, même les algorithmes d'IA les plus raffinés ont du mal à exprimer leur intelligence.

Cet article analysera en profondeur l'évolution de l'indexation des données dans le processus de développement de l'industrie, du point de vue de l'accessibilité des données sur la Blockchain, et comparera l'ancien protocole d'indexation The Graph aux nouveaux Chainbase et Space and Time, en explorant les similitudes et les différences entre ces deux nouveaux protocoles combinant des technologies d'IA en matière de services de données et d'architecture de produits.

2 La complexité et la simplicité de l'indexation des données : du nœud Blockchain à la base de données de la chaîne complète

2.1 Source de données : Nœud Blockchain

La blockchain est considérée comme un livre de comptes décentralisé. Les nœuds sont la base du réseau blockchain, responsables de l'enregistrement, du stockage et de la diffusion de toutes les données de transaction sur la chaîne. Chaque nœud possède une copie complète des données de la blockchain, maintenant ainsi la caractéristique décentralisée du réseau. Cependant, pour les utilisateurs ordinaires, créer et maintenir un nœud n'est pas une tâche facile. Cela nécessite non seulement des compétences professionnelles, mais aussi des coûts matériels et de bande passante élevés. La capacité de requête des nœuds ordinaires est également limitée, ce qui rend impossible l'obtention des données dans le format nécessaire pour les développeurs. Ainsi, bien que théoriquement tout le monde puisse exécuter un nœud, en pratique, les utilisateurs dépendent beaucoup des services tiers.

Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils sont responsables des coûts et de la gestion des nœuds, fournissant des données via des points de terminaison RPC. Les utilisateurs peuvent accéder aux données de la blockchain sans avoir à créer leur propre nœud. Les points de terminaison RPC publics sont gratuits mais ont des limites de taux, ce qui peut affecter l'expérience des dApp. Les points de terminaison RPC privés offrent de meilleures performances, mais la simple récupération de données nécessite également beaucoup de communication, ce qui est inefficace et difficile à étendre. Cependant, les interfaces API standardisées des fournisseurs de nœuds réduisent le seuil d'accès aux données, posant ainsi les bases de l'analyse et de l'application des données ultérieures.

2.2 Analyse des données : des données prototypes aux données exploitables

Les données brutes fournies par les nœuds de la blockchain sont généralement cryptées et codées, garantissant l'intégrité et la sécurité, mais augmentant également la difficulté d'analyse. Pour les utilisateurs ordinaires ou les développeurs, traiter ces données directement nécessite une quantité considérable de connaissances techniques et de ressources de calcul.

Le processus d'analyse des données devient donc crucial. En convertissant des données prototypes complexes en un format facile à comprendre et à manipuler, les utilisateurs peuvent tirer parti de ces données de manière plus intuitive. Le succès ou l'échec de l'analyse a une incidence directe sur l'efficacité des applications de données de Blockchain, c'est une étape clé dans l'ensemble du processus d'indexation.

2.3 L'évolution des indexeurs de données

Avec l'augmentation du volume de données de la Blockchain, la demande d'indexeurs augmente de jour en jour. Les indexeurs organisent les données sur la chaîne et les envoient à une base de données pour interrogation. Ils indexent les données de la Blockchain et rendent les données disponibles à tout moment via des langages de requête de type SQL ( comme l'API GraphQL ). Les indexeurs fournissent une interface de requête uniforme, permettant aux développeurs de récupérer rapidement et précisément des informations avec un langage standardisé, simplifiant considérablement le processus.

Différents types d'indexeurs optimisent les méthodes de récupération de données de manière variée :

1. Indexeur de nœud complet : exécuter un nœud de blockchain complet pour extraire directement des données, garantissant une exactitude complète, mais nécessitant une grande capacité de stockage et de traitement.
2. Indexeur léger : dépend des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.
3. Indexeur spécialisé : optimisé pour la récupération de types de données spécifiques ou de Blockchain, comme les données NFT ou les transactions DeFi.
4. Agrégateur d'index: extrait des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, et fournit une interface de requête unifiée, adaptée aux dApps multi-chaînes.

Actuellement, les nœuds d'archives Ethereum occupent environ 13,5 To de stockage dans le client Geth et environ 3 To dans le client Erigon. Avec la croissance de la blockchain, les besoins en stockage continuent d'augmenter. Face à cette énorme quantité de données, les protocoles d'indexation principaux prennent en charge l'indexation multi-chaînes et personnalisent des cadres d'analyse de données en fonction des différents besoins d'application, comme le cadre "sous-graphe" de The Graph.

L'indexeur améliore considérablement l'efficacité de l'indexation et des requêtes de données. Par rapport aux points de terminaison RPC traditionnels, l'indexeur peut indexer efficacement de grandes quantités de données et prendre en charge des requêtes à haute vitesse. Les utilisateurs peuvent exécuter des requêtes complexes, filtrer et analyser facilement les données. Certains indexeurs prennent également en charge l'agrégation de sources de données multi-chaînes, évitant ainsi le déploiement de plusieurs API pour les dApps multi-chaînes. Le fonctionnement distribué offre une sécurité et des performances renforcées, réduisant ainsi les risques d'interruption potentiels liés aux fournisseurs RPC centralisés.

L'indexeur permet aux utilisateurs d'accéder directement aux informations nécessaires sans avoir à traiter des données sous-jacentes complexes grâce à un langage de requête prédéfini. Cela améliore considérablement l'efficacité et la fiabilité de la récupération des données, et constitue une innovation importante dans l'accès aux données de la Blockchain.

2.4 Base de données pleine chaîne : alignement prioritaire sur le flux

Utiliser un nœud d'index pour interroger des données signifie généralement que l'API devient le seul moyen de traiter les données sur la Blockchain. Cependant, lorsque le projet entre dans une phase d'expansion, il faut souvent des sources de données plus flexibles, les API standardisées étant difficiles à satisfaire. Avec la complexité croissante des exigences des applications, les indexeurs de base et leurs formats d'index standardisés deviennent progressivement incapables de répondre à des besoins de requête diversifiés, tels que la recherche, l'accès inter-chaînes ou le mappage de données hors chaîne.

Dans l'architecture moderne des pipelines de données, la méthode "priorité au flux" est devenue une solution pour surmonter les limites du traitement par lots traditionnel, permettant une ingestion, un traitement et une analyse des données en temps réel. Ce changement de paradigme permet aux organisations de répondre immédiatement aux données entrantes, d'obtenir des insights et de prendre des décisions presque en temps réel. De même, les fournisseurs de services de données de Blockchain évoluent également vers la construction de flux de données, les fournisseurs d'indexation traditionnels lançant des produits de flux de données Blockchain en temps réel, tels que les Substreams de The Graph, le Mirror de Goldsky, ainsi que des lacs de données en temps réel basés sur Blockchain générant des flux de données comme Chainbase et SubSquid.

Ces services visent à répondre à la demande de l'analyse en temps réel des transactions sur la Blockchain et de fournir des capacités de requête complètes. Tout comme l'architecture "prioritaire sur le flux" révolutionne les méthodes traditionnelles de traitement des données en réduisant la latence et en améliorant la réactivité, ces fournisseurs de services de flux de données Blockchain espèrent également soutenir le développement d'applications et faciliter l'analyse des données sur la chaîne grâce à des sources de données plus avancées et matures.

En réexaminant les défis des données on-chain à travers le prisme des pipelines de données modernes, nous pouvons envisager le potentiel de la gestion, du stockage et de la fourniture des données sous un nouvel angle. Lorsque nous considérons les indexeurs tels que Subgraph et Ethereum ETL comme des flux de données plutôt que comme des sorties finales, nous pouvons imaginer un monde capable de créer des ensembles de données haute performance sur mesure pour n'importe quel cas d'utilisation.

3 IA + Base de données ? Comparaison approfondie de The Graph, Chainbase, Space and Time

3.1 The Graph

Le réseau The Graph permet d'indexer et de consulter des données multi-chaînes grâce à un réseau décentralisé de nœuds, facilitant ainsi aux développeurs l'indexation des données de la blockchain et la construction d'applications. Son modèle de produit principal est le marché d'exécution des requêtes de données et le marché de mise en cache des index, tous deux répondant aux besoins de requête des utilisateurs. Le marché d'exécution des requêtes fait référence au paiement par les consommateurs pour choisir un nœud d'index approprié pour les données requises, tandis que le marché de mise en cache des index est où les nœuds d'index allouent des ressources en fonction de la popularité historique des sous-graphes, des frais de requête et des besoins en curation.

Le sous-graphe est la structure de données fondamentale du réseau The Graph, définissant comment extraire et transformer des données de la Blockchain en un format interrogeable. Quiconque peut créer un sous-graphe, plusieurs applications peuvent le réutiliser, améliorant la réutilisabilité des données et l'efficacité de l'utilisation.

Le réseau The Graph est composé de quatre rôles : indexeurs, conservateurs, délégataires et développeurs, qui soutiennent ensemble les besoins en données des applications web3. Les responsabilités de chaque rôle sont les suivantes :

• Indexeur : opérateur de nœud de réseau, participant au réseau par le biais du staking de GRT, fournissant des services d'indexation et de traitement de requêtes.
• Mandataire : Staker GRT auprès du nœud d'indexation pour soutenir l'exploitation, et gagner une partie des récompenses du nœud délégué.
• Curateur : responsable de quels sous-graphes de signal doivent être indexés en priorité par le réseau, s'assurant que les sous-graphes de valeur soient traités.
• Développeur : Les principaux utilisateurs de The Graph, créent et soumettent des sous-graphes au réseau, attendant que la demande de données soit satisfaite.

Actuellement, The Graph a évolué vers un service d'hébergement de sous-graphiques entièrement décentralisé, avec des incitations économiques entre les participants pour garantir le bon fonctionnement du système :

• Les nœuds d'index gagnent des revenus en consultant les frais et une partie des récompenses en blocs GRT.
• Le donneur d'ordre reçoit une partie de la récompense des nœuds d'index pris en charge.
• Si un conservateur juge qu'un sous-graphique a de la valeur, il peut obtenir une partie des récompenses des frais de requête.

Le produit The Graph se développe rapidement dans la vague de l'IA. Semiotic Labs, en tant qu'un des principaux équipes de développement, s'engage à optimiser les prix d'index et l'expérience de requête des utilisateurs grâce à la technologie IA. Les outils AutoAgora, Allocation Optimizer et AgentC actuellement développés améliorent les performances de l'écosystème sur plusieurs aspects:

• AutoAgora introduit un mécanisme de tarification dynamique, ajustant en temps réel les prix en fonction du volume de requêtes et de l'utilisation des ressources, optimisant la stratégie de tarification pour garantir la compétitivité de l'indexeur et maximiser les revenus.
• L'Allocation Optimizer résout le problème de répartition des ressources des sous-graphes, aide les indexeurs à réaliser une configuration optimale, améliorant ainsi les revenus et les performances.
• AgentC permet aux utilisateurs d'accéder aux données de la Blockchain via un langage naturel, améliorant ainsi l'expérience utilisateur.

L'application de ces outils permet à The Graph, en combinaison avec l'IA, d'améliorer davantage l'intelligence du système et la convivialité pour les utilisateurs.

3.2 Chainbase

Chainbase est un réseau de données de chaîne intégral, intégrant toutes les données de blockchain sur une plateforme, facilitant le développement et la maintenance des applications par les développeurs. Ses fonctionnalités uniques incluent:

• Lac de données en temps réel : fournit un lac de données en temps réel spécialement conçu pour les flux de données Blockchain, permettant d'accéder aux données dès leur génération.
• Architecture à double chaîne : construite sur la couche d'exécution d'Eigenlayer AVS, formant une architecture parallèle à double chaîne avec l'algorithme de consensus CometBFT. Ce design renforce la programmabilité et la combinabilité des données inter-chaînes, supporte un haut débit, une faible latence et une finalité, et améliore la sécurité du réseau grâce à un double staking.
• Norme de format de données innovante : introduction de la nouvelle norme de format de données "manuscripts", optimisation de la structuration et de l'utilisation des données dans le secteur de la cryptographie.
• Modèle du monde de la cryptographie : en combinant la technologie des modèles d'IA et en utilisant d'énormes ressources de données de Blockchain, créer un modèle d'IA capable de comprendre, prédire et interagir efficacement avec les transactions de Blockchain. La version de base du modèle Theia est actuellement disponible pour le public.

Ces fonctionnalités font de Chainbase un leader dans les protocoles d'indexation, mettant particulièrement l'accent sur l'accessibilité des données en temps réel, des formats de données innovants, ainsi que la création de modèles plus intelligents pour améliorer l'analyse grâce à la combinaison de données on-chain et off-chain.

Le modèle d'IA Theia de Chainbase est la clé qui le distingue des autres protocoles de services de données. Theia est basé sur le modèle DORA développé par NVIDIA, combinant des données on-chain et off-chain avec des activités spatio-temporelles, apprenant à analyser les modèles cryptographiques et réagissant par le raisonnement causal, exploitant en profondeur la valeur et les lois potentielles des données on-chain, offrant aux utilisateurs des services de données plus intelligents.

Les services de données habilités par l'IA font de Chainbase non seulement une plateforme de services de données Blockchain, mais aussi un fournisseur de services de données intelligentes compétitif. Grâce à de puissantes ressources de données et à une analyse proactive de l'IA, Chainbase peut fournir des perspectives de données plus larges et optimiser le processus de traitement des données des utilisateurs.

3.3 Espace et Temps

Space and Time (SxT) s'engage à créer une couche de calcul vérifiable, en étendant la preuve à divulgation nulle de connaissance sur un entrepôt de données décentralisé, fournissant un traitement de données fiable pour les contrats intelligents, les grands modèles linguistiques et les entreprises. Actuellement, 20 millions de dollars ont été levés lors d'un tour de financement de série A, dirigé par Framework Ventures, Lightspeed Faction, Arrington Capital et Hivemind Capital.

Dans le domaine de l'indexation et de la validation des données, Space and Time introduit une voie technologique innovante : la Proof of SQL. Il s'agit de la technologie de preuve à connaissance nulle développée par SxT, garantissant que les requêtes SQL exécutées sur des entrepôts de données décentralisés sont immuables et vérifiables. Lors de l'exécution des requêtes, la Proof of SQL génère une preuve cryptographique, vérifiant l'intégrité et l'exactitude des résultats des requêtes. La preuve est ajoutée aux résultats, et tout vérificateur (, comme un contrat intelligent ), peut confirmer de manière indépendante que le processus de traitement des données n'a pas été altéré. Les réseaux blockchain traditionnels s'appuient généralement sur des mécanismes de consensus pour valider l'authenticité des données, tandis que la Proof of SQL réalise une méthode de validation des données plus efficace. Dans le système SxT, un nœud est responsable de l'acquisition des données, tandis que d'autres nœuds vérifient l'authenticité des données via la technologie zk. Cela change la perte de ressources due à l'indexation répétée des données par plusieurs nœuds sous un mécanisme de consensus pour atteindre un consensus, améliorant ainsi la performance globale du système. Avec la maturité de la technologie, cela favorise l'importance de la fiabilité des données.