Évolution et perspectives futures de la technologie d'indexation des données Blockchain

1. Introduction

Des premières applications de Blockchain aux dApp florissantes dans les domaines de la finance, des jeux et des réseaux sociaux, l'écosystème Blockchain a connu une transformation énorme. Dans ce processus, les sources de données sur lesquelles reposent les interactions des dApp sont progressivement devenues le centre d'attention de l'industrie.

En 2024, la fusion de l'IA et du Web3 devient un sujet brûlant. Dans le domaine de l'intelligence artificielle, les données sont comme la source de vie pour sa croissance et son évolution. Tout comme les plantes ont besoin de lumière et d'eau pour prospérer, les systèmes d'IA dépendent également d'une quantité massive de données pour apprendre et réfléchir en continu. Sans le soutien des données, même les algorithmes d'IA les plus sophistiqués ont du mal à déployer leur intelligence et leur efficacité.

Cet article explorera en profondeur l'évolution de l'accessibilité des données sur la Blockchain, analysera l'évolution des technologies d'indexation des données dans l'industrie et comparera plusieurs protocoles d'indexation des données principaux, en mettant particulièrement l'accent sur la manière dont les protocoles émergents utilisent la technologie AI pour optimiser les services de données et l'architecture des produits.

2. L'évolution de l'indexation des données : des nœuds à la base de données de la chaîne complète

2.1 Source de données : nœud Blockchain

La blockchain est souvent décrite comme un livre de comptes décentralisé. Les nœuds constituent la base de l'ensemble du réseau, étant responsables de l'enregistrement, du stockage et de la propagation de toutes les données des transactions sur la chaîne. Chaque nœud conserve une copie complète des données de la blockchain, garantissant les caractéristiques décentralisées du réseau. Cependant, pour les utilisateurs ordinaires, créer et maintenir un nœud n'est pas une tâche facile, car cela nécessite non seulement des compétences professionnelles, mais implique également des coûts matériels et de bande passante élevés. De plus, les capacités de requête des nœuds ordinaires sont limitées, rendant difficile la satisfaction des besoins des développeurs.

Pour résoudre ce problème, les fournisseurs de nœuds RPC ont vu le jour. Ils prennent en charge les coûts et la gestion des nœuds, fournissant des services de données via des points de terminaison RPC. Bien que les points de terminaison RPC publics soient gratuits, ils présentent des limitations de taux qui peuvent affecter l'expérience utilisateur des dApp. Les points de terminaison RPC privés offrent de meilleures performances, mais leur efficacité pour les requêtes complexes est faible, et ils sont difficiles à étendre et à rendre compatibles entre réseaux. Néanmoins, l'interface API standardisée des fournisseurs de nœuds réduit le seuil d'accès des utilisateurs aux données en chaîne, posant ainsi les bases pour l'analyse et l'application ultérieures des données.

2.2 Analyse des données : des données brutes aux données exploitables

Les données brutes fournies par les nœuds de la Blockchain sont généralement cryptées et codées, ce qui garantit l'intégrité et la sécurité des données, mais augmente la difficulté d'analyse. Pour les utilisateurs ordinaires et les développeurs, traiter directement ces données nécessite une grande quantité de connaissances techniques et de ressources informatiques.

Le processus d'analyse des données devient particulièrement important dans ce contexte. En transformant des données brutes complexes en un format plus compréhensible et manipulable, les utilisateurs peuvent exploiter ces données de manière plus intuitive. La qualité de l'analyse affecte directement l'efficacité et l'efficacité des applications de données Blockchain, et constitue un maillon clé de l'ensemble du processus d'indexation des données.

2.3 Développement de l'indexeur de données

Avec l'augmentation exponentielle des volumes de données Blockchain, la demande d'indexeurs de données devient de plus en plus pressante. La principale fonction des indexeurs est d'organiser les données sur la chaîne et de les stocker dans une base de données pour permettre les requêtes. Ils indexent les données Blockchain et fournissent une interface de langage de requête similaire à SQL (comme GraphQL), rendant les données disponibles à tout moment. Cette interface de requête unifiée permet aux développeurs de récupérer rapidement et précisément les informations nécessaires, simplifiant considérablement l'ensemble du processus.

Différents types d'indexeurs ont chacun leurs avantages :

1. Indexeur de nœud complet : extrait directement les données du nœud complet, garantissant l'exactitude et l'intégralité des données, mais nécessitant une grande capacité de stockage et de traitement.
2. Indexeur léger : repose sur des nœuds complets pour obtenir des données spécifiques, réduit les besoins de stockage mais peut augmenter le temps de requête.
3. Indexeur dédié : optimisé pour des types de données spécifiques ou des blocs, comme les données NFT ou les transactions DeFi.
4. Agrégateur d'index : extrait des données de plusieurs Blockchains et sources, y compris des informations hors chaîne, et fournit une interface de requête unifiée, adaptée aux dApps multi-chaînes.

Actuellement, les besoins en stockage des nœuds d'archive Ethereum varient de 3 To à 13,5 To selon les clients, et continuent d'augmenter avec la croissance de la Blockchain. Face à un volume de données aussi important, les protocoles d'indexation majeurs non seulement prennent en charge l'indexation multi-chaînes, mais ont également personnalisé des cadres d'analyse de données en fonction des différents besoins des applications.

L'apparition des indexeurs a considérablement amélioré l'efficacité de l'indexation et des requêtes de données. Par rapport aux points de terminaison RPC traditionnels, les indexeurs peuvent traiter efficacement de grandes quantités de données, prenant en charge des requêtes complexes et le filtrage des données. Certains indexeurs prennent également en charge l'agrégation de sources de données multi-chaînes, évitant ainsi le problème du déploiement de plusieurs API pour les dApps multi-chaînes. Grâce à un fonctionnement distribué, les indexeurs offrent une sécurité et des performances accrues, réduisant le risque d'interruptions potentielles causées par des fournisseurs RPC centralisés.

2.4 Base de données entièrement alignée sur le flux

Avec l'expansion de l'échelle des projets, les API standardisées peinent à répondre à des exigences de requête de plus en plus complexes, telles que la recherche, l'accès inter-chaînes ou la cartographie des données hors chaîne. L'approche "priorité au flux" dans l'architecture moderne des pipelines de données devient une solution pour surmonter les limitations du traitement par lots traditionnel, permettant un traitement et une analyse des données en temps réel.

Les fournisseurs de services de données Blockchain évoluent également vers la construction de flux de données. Les fournisseurs de services d'indexation traditionnels ont lancé des produits de flux de données Blockchain en temps réel, tels que les Substreams d'un certain protocole et le Mirror d'une certaine entreprise. Parallèlement, des fournisseurs émergents comme une certaine plateforme de données et un certain protocole offrent également des lacs de données en temps réel générés par Blockchain.

Ces services visent à répondre à la demande d'analyse en temps réel des transactions de blockchain et de fournir des capacités de requête complètes. En réexaminant la gestion des données on-chain sous l'angle des pipelines de données modernes, nous pouvons explorer davantage de possibilités de stockage et d'utilisation des données. Considérer des indexeurs tels que Subgraph et Ethereum ETL comme des flux de données plutôt que comme des sorties finales ouvre de nouvelles possibilités pour la personnalisation de jeux de données de haute performance.

3. Combinaison de l'IA et des bases de données : comparaison des protocoles principaux

3.1 Un protocole d'indexation décentralisé

Le protocole offre des services d'indexation et de requête de données multichaînes via un réseau de nœuds décentralisés. Ses produits phares incluent un marché d'exécution des requêtes de données et un marché de cache d'index de données, répondant aux besoins de requête des utilisateurs.

La structure de données de base du protocole est le "sous-graphe", qui définit comment extraire et convertir des données de la blockchain en un format interrogeable. Le réseau est composé de quatre rôles : indexeurs, conservateurs, délégataires et développeurs, assurant le fonctionnement du système grâce à des incitations économiques.

Le protocole a récemment réalisé des percées dans les applications d'IA. L'équipe de développement centrale de l'écosystème a développé plusieurs outils d'IA, tels que des mécanismes de tarification dynamique, des optimiseurs de répartition des ressources et des outils de requête en langage naturel, améliorant ainsi l'intelligence du système et la convivialité pour les utilisateurs.

3.2 Un réseau de données blockchain complet

C'est une plateforme qui intègre toutes les données de la Blockchain, offrant des fonctionnalités distinctives telles qu'un lac de données en temps réel, une architecture à double chaîne, des normes de formats de données innovants et un modèle du monde cryptographique.

La plateforme est construite sur une couche d'exécution basée sur une certaine technologie, formant une architecture à double chaîne parallèle avec un certain algorithme de consensus, renforçant la programmabilité et la combinabilité des données inter-chaînes. La plateforme introduit un nouveau standard de format de données appelé "manuscripts", optimisant la structuration et l'utilisation des données dans l'industrie de la cryptographie.

La plateforme combine la technologie des modèles AI pour créer un modèle AI capable de comprendre, prédire les transactions Blockchain et d'interagir avec elles. Actuellement, une version de base du modèle a été lancée pour le grand public, ce modèle étant basé sur la technologie développée par une certaine entreprise, combinant des données on-chain et off-chain ainsi que des activités spatio-temporelles pour explorer en profondeur la valeur potentielle et les régularités des données on-chain.

3.3 Une couche de calcul vérifiable

Ce projet vise à créer une couche de calcul vérifiable, en étendant les preuves à divulgation nulle de connaissance sur un entrepôt de données décentralisé, afin de fournir un traitement de données fiable pour les contrats intelligents, les grands modèles linguistiques et les entreprises.

Le projet a introduit une technologie innovante de preuve à zéro connaissance, garantissant que les requêtes SQL exécutées sur le dépôt de données décentralisé sont infalsifiables et vérifiables. Cette technologie a modifié la manière dont les réseaux Blockchain traditionnels s'appuient sur des mécanismes de consensus pour valider l'authenticité des données, améliorant ainsi la performance globale du système.

Le projet collabore avec le laboratoire d'IA d'une grande entreprise technologique pour développer des outils d'IA générative, simplifiant le processus pour les utilisateurs de traiter les données de Blockchain via le traitement du langage naturel. Les utilisateurs peuvent saisir des requêtes en langage naturel, l'IA les convertit automatiquement en SQL et exécute la requête, présentant le résultat final.

Conclusion et perspectives

La technologie d'indexation des données de Blockchain a évolué depuis la source des données des nœuds, à l'analyse des données et des indexeurs, jusqu'aux services de données de chaîne complète habilités par l'IA. Ce processus a continuellement amélioré l'efficacité et la précision de l'accès aux données, offrant aux utilisateurs une expérience plus intelligente.

À l'avenir, avec le développement de nouvelles technologies telles que l'IA et les preuves à divulgation nulle de connaissance, les services de données Blockchain deviendront encore plus intelligents et sécurisés. En tant qu'infrastructure, ces services continueront de fournir un soutien important aux progrès et à l'innovation dans l'industrie.