L'évolution de l'accès aux données Web3 : Analyse des indexeurs et des projets connexes

Les données sont au cœur de la technologie blockchain et constituent la base du développement d'applications décentralisées ( dApp ). Actuellement, la plupart des discussions se concentrent sur la disponibilité des données ( DA ), c'est-à-dire garantir que tous les participants du réseau peuvent accéder aux données de transaction les plus récentes pour les valider. Cependant, un autre aspect tout aussi important mais souvent négligé est l'accessibilité des données.

À l'ère des blockchains modulaires, les solutions DA sont devenues une partie indispensable. Ces solutions garantissent que tous les participants peuvent accéder aux données de transaction, permettant ainsi une validation en temps réel et maintenant l'intégrité du réseau. Cependant, les fonctionnalités de la couche DA ressemblent davantage à un panneau d'affichage qu'à une base de données. Cela signifie que les données ne sont pas stockées indéfiniment et seront supprimées avec le temps, tout comme les affiches sur un panneau d'affichage seront finalement remplacées par de nouvelles affiches.

En revanche, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est crucial pour le développement de dApps et l'analyse de la blockchain. Cet aspect est très important pour les tâches qui nécessitent l'accès à des données passées afin d'assurer une représentation et une exécution précises. Bien que la discussion sur l'accessibilité des données soit moins fréquente, elle est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème blockchain, et une approche complète de la gestion des données doit aborder ces deux questions pour soutenir des applications blockchain robustes et efficaces.

L'évolution de la recherche de données sur la blockchain

Depuis la naissance de la blockchain, elle a totalement transformé les infrastructures, favorisant la création de dApps dans plusieurs domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la construction de ces dApps nécessite l'accès à une quantité importante de données blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs de dApp, l'une des options est d'héberger et d'exécuter leurs propres nœuds RPC archivés. Ces nœuds stockent toutes les données de la blockchain depuis le début, permettant un accès complet aux données. Cependant, le maintien de nœuds archivés est coûteux et leur capacité de requête est limitée, ce qui rend difficile la récupération des données dans le format requis par les développeurs. Bien que faire fonctionner des nœuds moins chers soit une option, la capacité de récupération des données de ces nœuds est limitée, ce qui peut affecter le fonctionnement de la dApp.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, fournissant des données via des points de terminaison RPC. Les points de terminaison RPC publics, bien qu'ils soient gratuits, ont des limites de taux, ce qui peut avoir un impact négatif sur l'expérience utilisateur des dApps. Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même la récupération de données simples nécessite de nombreux échanges de communication. Cela les rend lourds en demandes et inefficaces pour des requêtes de données complexes. De plus, les points de terminaison RPC privés sont souvent difficiles à mettre à l'échelle et manquent de compatibilité entre différents réseaux.

Meilleur choix : indexeur de blockchain

Les indexeurs de blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur envoi vers une base de données pour faciliter les requêtes, ils sont donc souvent appelés "moteurs de recherche de la blockchain". Leur fonctionnement consiste à indexer les données de la blockchain et à les rendre disponibles à tout moment grâce à un langage de requête similaire au SQL (en utilisant des API comme GraphQL). En fournissant une interface de requête de données unifiée, les indexeurs permettent aux développeurs de récupérer rapidement et avec précision les informations nécessaires en utilisant un langage de requête standardisé, simplifiant considérablement ce processus.

Différents types d'indexeurs optimisent la récupération des données de différentes manières :

1. Indexeur de nœuds complets : extrait directement les données des nœuds de blockchain complets, garantissant l'exactitude et l'intégrité des données, mais nécessitant une grande capacité de stockage et de traitement.

2. Indexeur léger : s'appuyant sur des nœuds complets pour obtenir des données spécifiques à la demande, réduisant les besoins de stockage mais pouvant augmenter le temps de requête.

3. Indexeur spécialisé : optimisé pour des types de données spécifiques ou des blockchains spécifiques, par exemple les données NFT ou les transactions DeFi.

4. Indexeur agrégé : extrait des données de plusieurs blockchains et sources, y compris des informations hors chaîne, et fournit une interface de requête unifiée, particulièrement utile pour les dApps multi-chaînes.

Il faut 3 To d'espace de stockage uniquement pour Ethereum, et avec la croissance continue de la blockchain, la quantité de données à stocker augmente sans cesse. Le protocole d'indexation déploie plusieurs indexeurs, permettant d'indexer efficacement et de consulter rapidement de grandes quantités de données, ce que RPC ne peut pas réaliser.

Les indexeurs permettent également des requêtes complexes, de filtrer facilement les données et d'extraire des analyses après coup. Certains indexeurs peuvent également agréger les données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API dans des dApps multi-chaînes. En étant répartis sur plusieurs nœuds, les indexeurs offrent une sécurité et des performances améliorées, tandis que les fournisseurs RPC peuvent connaître des interruptions et des pannes en raison de leur nature centralisée.

Dans l'ensemble, par rapport aux fournisseurs de nœuds RPC, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données tout en réduisant le coût de déploiement d'un nœud unique. Cela fait du protocole d'indexeur de blockchain le choix préféré des développeurs de dApp.

Scénarios d'application de l'indexeur

La construction d'une dApp nécessite de rechercher et de lire les données de la blockchain pour faire fonctionner le service. Cela inclut divers types de dApps, tels que DeFi, plateformes NFT, jeux et même réseaux sociaux, car ces plateformes doivent d'abord lire les données avant d'exécuter d'autres transactions.

DeFi

Les protocoles DeFi ont besoin d'informations différentes pour fournir aux utilisateurs des prix, des taux, des frais spécifiques, etc. Le teneur de marché automatisé ( AMM ) nécessite des informations sur le prix et la liquidité du pool de liquidités pour calculer le taux de swap, tandis que le protocole de prêt doit utiliser le taux d'utilisation pour déterminer le taux d'intérêt et le ratio de la dette en cas de liquidation. Avant de calculer le taux d'intérêt appliqué par l'utilisateur, il est essentiel d'entrer les informations dans le dApp.

jeu

GameFi nécessite un indexage et un accès rapides aux données pour garantir une expérience de jeu fluide pour les utilisateurs. Ce n'est qu'à travers une récupération et une exécution rapides des données que les jeux Web3 peuvent rivaliser en termes de performances avec les jeux Web2, attirant ainsi plus d'utilisateurs. Ces jeux ont besoin de données telles que la propriété foncière, le solde des jetons en jeu, les opérations en jeu, etc. En utilisant des indexeurs, ils peuvent mieux assurer un flux de données stable et un temps de fonctionnement normal, garantissant une expérience de jeu parfaite.

NFT

Les marchés NFT et les plateformes de prêt ont besoin d'indexer les données pour accéder à diverses informations, telles que les métadonnées NFT, les données de propriété et de transfert, les informations sur les redevances, etc. Un index rapide de ces données peut éviter de parcourir chaque NFT un par un pour trouver des données de propriété ou des attributs.

Que ce soit pour les AMM DeFi nécessitant des informations sur les prix et la liquidité, ou pour les applications SocialFi qui ont besoin de mettre à jour les publications des nouveaux utilisateurs, la recherche rapide de données est essentielle au bon fonctionnement des dApps. Grâce à l'indexeur, elles peuvent récupérer les données de manière efficace et précise, offrant ainsi une expérience utilisateur fluide.

analyse

L'indexeur fournit un moyen d'extraire des données spécifiques des données brutes de la blockchain (y compris les événements de contrats intelligents dans chaque bloc). Cela offre une opportunité d'analyse de données plus spécifique, permettant ainsi d'obtenir des insights complets.

Par exemple, un protocole de trading perpétuel peut identifier quels tokens ont un volume d'échange élevé et génèrent des frais importants, afin de décider s'ils doivent être listés comme contrats perpétuels sur la plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour leurs produits, afin d'analyser en profondeur quels pools de liquidités offrent les meilleurs rendements ou la plus grande liquidité. Ils peuvent également créer des tableaux de bord publics, permettant aux développeurs de consulter librement et de manière flexible n'importe quel type de données et de les afficher sous forme de graphiques.

Étant donné qu'il existe plusieurs indexeurs de blockchain disponibles, il est essentiel de reconnaître les différences entre les protocoles d'indexation pour s'assurer que les développeurs choisissent l'indexeur le mieux adapté à leurs besoins.

Aperçu de l'indexeur de blockchain

Le Graph

The Graph est l'un des premiers protocoles d'indexation lancés sur Ethereum, permettant de facilement interroger des données de transaction auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer un sous-ensemble de données collectées depuis la blockchain, par exemple toutes les transactions liées à un pool DEX USDC/ETH.

Avec la preuve d'index, les indexeurs mettent en jeu le jeton natif GRT pour les services d'indexation et de requête, et les délégués peuvent choisir de mettre en jeu leurs jetons ici. Les curateurs peuvent accéder à des sous-graphes de haute qualité pour aider les indexeurs à déterminer quels sous-graphes compiler des données afin de gagner les meilleurs frais de requête. Dans le cadre de la transition vers une plus grande décentralisation, The Graph finira par cesser ses services d'hébergement et demandera aux sous-graphes de migrer vers son réseau, tout en offrant une mise à niveau pour les indexeurs.

Son infrastructure permet de réduire le coût moyen à 40 dollars pour un million de requêtes, ce qui est bien inférieur au coût des nœuds auto-hébergés. En utilisant des sources de données de fichiers, elle prend également en charge l'indexation parallèle des données à la fois sur la chaîne et hors chaîne pour une récupération efficace des données.

Les récompenses des indexeurs de The Graph ont connu une croissance régulière au cours des derniers trimestres. Cela est en partie dû à l'augmentation du volume des requêtes, mais aussi attribué à la hausse des prix des tokens, car ils prévoient d'intégrer des requêtes assistées par l'intelligence artificielle à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé, peer-to-peer et évolutif, capable d'agréger efficacement de grandes quantités de données on-chain et off-chain, tout en étant protégé par des preuves à divulgation nulle de connaissance. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage des données provenant d'un sous-ensemble spécifique de blocs, accélérant ainsi le processus de récupération des données grâce à une identification rapide des nœuds qui conservent les données nécessaires.

Subsquid prend également en charge l'indexation en temps réel, permettant d'indexer avant la finalisation des blocs. Il prend également en charge le stockage des données dans le format choisi par le développeur, facilitant ainsi l'analyse avec des outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphes peuvent être déployés sur le réseau Subsquid sans avoir besoin de migrer vers le Squid SDK, permettant ainsi un déploiement sans code.

Bien qu'il soit encore en phase de test, Subsquid a réalisé des statistiques impressionnantes, avec plus de 80 000 utilisateurs de test, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs vérifiés sur le réseau. Récemment, Subsquid a lancé le mainnet de son lac de données.

En plus de l'indexation, le lac de données Subsquid Network peut également remplacer les RPC dans des cas d'utilisation tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les oracles.

SubQuery

SubQuery est un réseau d'infrastructure middleware décentralisé qui fournit des services RPC et d'indexation de données. Il a d'abord pris en charge les réseaux Polkadot et Substrate, et s'est maintenant étendu pour inclure plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où les indexeurs indexent les données et fournissent des demandes de requêtes, tandis que les délégants stakent leurs actions auprès des indexeurs. Cependant, il introduit des consommateurs pour soumettre des commandes d'achat afin d'assurer que les revenus des indexeurs sont garantis, plutôt que ceux des gestionnaires.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, afin d'éviter la synchronisation constante de nouvelles données entre chaque nœud, optimisant ainsi l'efficacité des requêtes, tout en se dirigeant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT en frais de calcul pour chaque 1000 requêtes, ou de définir des frais personnalisés pour les indexeurs via le protocole.

Bien que SubQuery ait lancé son jeton plus tôt cette année, les récompenses de distribution pour les nœuds et les délégués ont également augmenté en valeur en dollars de manière séquentielle, ce qui représente une augmentation continue du nombre de services de requête proposés sur sa plateforme. Depuis le TGE, le montant total de SQT mis en jeu est passé de 6 millions à 125 millions, soulignant la croissance de la participation au réseau.

Covalent

Covalent est un réseau d'indexeurs décentralisé, créé par des nœuds du réseau des producteurs d'échantillons de blocs (BSP) qui génèrent des copies des données de la blockchain par un processus d'exportation en masse, et publient des preuves sur la blockchain Covalent L1. Ces données sont ensuite affinées par des nœuds producteurs de résultats de blocs (BRP) selon des règles établies pour sélectionner les données conformes aux critères.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données pertinentes sur la blockchain avec un format de requête et de réponse cohérent, sans avoir à écrire de requêtes complexes personnalisées pour accéder aux données. Les jetons CQT réglés sur une plateforme peuvent être utilisés comme moyen de paiement pour extraire ces ensembles de données préconfigurés auprès des opérateurs de réseau.

Les récompenses de Covalent semblent globalement en tendance de croissance du premier trimestre 2023 au premier trimestre 2024, en partie en raison de l'augmentation du prix du jeton Covalent CQT.

Considérations lors du choix d'un indexeur

Personnalisation des données

Certains indexeurs (comme Covalent) sont des indexeurs génériques qui fournissent des ensembles de données préconfigurés standards uniquement via une API. Bien qu'ils puissent être rapides, ils ne peuvent pas offrir la flexibilité nécessaire aux développeurs qui ont besoin d'ensembles de données personnalisés. En utilisant un cadre d'indexation, cela permet un traitement de données plus personnalisé pour répondre aux besoins spécifiques de l'application.

sécurité

Les données d'index doivent être sécurisées, sinon les dApps construites sur ces indexeurs peuvent également être vulnérables aux attaques. Par exemple, si les transactions et les soldes de portefeuille peuvent être manipulés, la dApp risque de perdre de la liquidité, ce qui affecterait ses utilisateurs. Bien que tous les indexeurs adoptent une certaine forme de sécurité par le biais de tokens de staking des indexeurs.