La evolución del acceso a datos en Web3: Análisis de indexadores y proyectos relacionados

Los datos son el núcleo de la tecnología blockchain y la base para desarrollar aplicaciones descentralizadas (dApp). Actualmente, la mayoría de las discusiones se centran en la disponibilidad de datos (DA), es decir, en asegurar que todos los participantes de la red puedan acceder a los datos de transacciones más recientes para su verificación. Sin embargo, otro aspecto igualmente importante pero a menudo ignorado es la accesibilidad de los datos.

En la era de las cadenas de bloques modularizadas, las soluciones DA se han convertido en una parte indispensable. Estas soluciones garantizan que todos los participantes puedan acceder a los datos de transacciones, lo que permite la verificación en tiempo real y mantiene la integridad de la red. Sin embargo, las funciones de la capa DA son más similares a las de una valla publicitaria que a las de una base de datos. Esto significa que los datos no se almacenan indefinidamente, se eliminan con el tiempo, al igual que los carteles en una valla publicitaria que eventualmente son reemplazados por nuevos carteles.

En comparación, la accesibilidad de los datos se centra en la capacidad de recuperar datos históricos, lo cual es crucial para el desarrollo de dApps y para realizar análisis de blockchain. Este aspecto es muy importante para las tareas que requieren acceso a datos pasados para asegurar una representación y ejecución precisas. Aunque se discute menos la accesibilidad de los datos, es igualmente importante que la disponibilidad de datos. Ambos juegan roles diferentes pero complementarios en el ecosistema de blockchain, y un enfoque integral de gestión de datos debe abordar ambos problemas para apoyar aplicaciones de blockchain robustas y eficientes.

La evolución de la búsqueda de datos en blockchain

Desde su creación, la blockchain ha transformado por completo la infraestructura, impulsando la creación de dApps en múltiples campos como juegos, finanzas y redes sociales. Sin embargo, construir estas dApps requiere acceder a una gran cantidad de datos de blockchain, lo cual es tanto difícil como costoso.

Para los desarrolladores de dApp, una opción es alojar y ejecutar su propio nodo RPC de archivo. Estos nodos almacenan todos los datos históricos de la blockchain desde el principio, lo que permite un acceso completo a los datos. Sin embargo, mantener un nodo de archivo es costoso y la capacidad de consulta es limitada, lo que impide consultar los datos en el formato que los desarrolladores necesitan. Aunque ejecutar nodos más baratos es una opción, la capacidad de recuperación de datos de estos nodos es limitada, lo que puede afectar el funcionamiento de la dApp.

Otra opción es utilizar proveedores de nodos RPC comerciales. Estos proveedores se encargan de los costos y la gestión de los nodos, ofreciendo datos a través de puntos finales RPC. Aunque los puntos finales RPC públicos son gratuitos, tienen limitaciones de velocidad, lo que puede afectar negativamente la experiencia del usuario de la dApp. Los puntos finales RPC privados ofrecen un mejor rendimiento al reducir la congestión, pero incluso la recuperación de datos simples requiere una gran cantidad de comunicaciones de ida y vuelta. Esto los hace pesados en solicitudes y poco eficientes para consultas de datos complejas. Además, los puntos finales RPC privados suelen ser difíciles de escalar y carecen de compatibilidad entre diferentes redes.

Mejor opción: Indexador de blockchain

Los indexadores de blockchain desempeñan un papel clave en la organización de datos en la cadena y su envío a bases de datos para facilitar la consulta, por lo que a menudo se les llama "el motor de búsqueda de blockchain". Su funcionamiento consiste en indexar datos de blockchain y hacerlos accesibles en cualquier momento a través de un lenguaje de consulta similar a SQL (utilizando API como GraphQL). Al proporcionar una interfaz de consulta de datos unificada, los indexadores permiten a los desarrolladores recuperar rápidamente y con precisión la información necesaria utilizando un lenguaje de consulta estandarizado, simplificando enormemente este proceso.

Los diferentes tipos de indexadores optimizan la recuperación de datos de diversas maneras:

1. Indexador de nodos completos: extrae datos directamente de nodos completos de la cadena de bloques, asegurando que los datos sean completos y precisos, pero requiere una gran capacidad de almacenamiento y procesamiento.

2. Indexador ligero: depende de nodos completos para obtener datos específicos bajo demanda, reduciendo la necesidad de almacenamiento pero puede aumentar el tiempo de consulta.

3. Indexador especializado: optimizado para tipos de datos específicos o cadenas de bloques específicas, como datos de NFT o transacciones de DeFi.

4. Agregador de índices: extrae datos de múltiples blockchains y fuentes, incluyendo información fuera de la cadena, proporcionando una interfaz de consulta unificada, especialmente útil para dApps multichain.

Solo Ethereum requiere 3TB de espacio de almacenamiento, y a medida que la blockchain sigue creciendo, la cantidad de datos almacenados continúa aumentando. El protocolo de indexación despliega múltiples indexadores, que pueden indexar de manera eficiente y consultar rápidamente grandes volúmenes de datos, algo que RPC no puede lograr.

Los indexadores también permiten consultas complejas, filtrado de datos de manera sencilla y extracción para análisis posterior. Algunos indexadores pueden agregar datos de múltiples fuentes, evitando la necesidad de implementar múltiples API en aplicaciones descentralizadas de múltiples cadenas. Al estar distribuidos en múltiples nodos, los indexadores ofrecen una mayor seguridad y rendimiento, mientras que los proveedores de RPC pueden experimentar interrupciones y tiempos de inactividad debido a su naturaleza centralizada.

En general, en comparación con los proveedores de nodos RPC, los indexadores mejoran la eficiencia y la fiabilidad de la recuperación de datos, al mismo tiempo que reducen el costo de implementar un solo nodo. Esto convierte al protocolo de indexadores de blockchain en la opción preferida para los desarrolladores de dApp.

Escenarios de aplicación del indexador

Construir una dApp requiere recuperar y leer datos de blockchain para poder operar servicios. Esto incluye varios tipos de dApps, como DeFi, plataformas NFT, juegos e incluso redes sociales, ya que estas plataformas necesitan leer datos primero para poder ejecutar otras transacciones.

DeFi

Los protocolos DeFi requieren diferentes información para ofrecer a los usuarios precios, tasas, tarifas específicas, etc. El creador de mercado automático (AMM) necesita información sobre los precios y la liquidez del fondo de liquidez para calcular la tasa de intercambio, mientras que el protocolo de préstamos necesita la utilización para determinar la tasa de interés de los préstamos y la proporción de deuda de liquidación. Antes de calcular la tasa que el usuario ejecuta, es esencial introducir la información en la dApp.

juego

GameFi necesita indexar y acceder a datos rápidamente para garantizar una experiencia de juego fluida para los usuarios. Solo a través de una recuperación y ejecución de datos rápida, los juegos de Web3 pueden competir en rendimiento con los juegos de Web2, atrayendo así a más usuarios. Estos juegos requieren datos como la propiedad de tierras, el saldo de tokens dentro del juego y las operaciones dentro del juego. Al utilizar indexadores, pueden garantizar mejor un flujo de datos estable y un tiempo de actividad normal, asegurando una experiencia de juego perfecta.

NFT

Los mercados de NFT y las plataformas de préstamo necesitan indexar datos para acceder a diversos tipos de información, como metadatos de NFT, datos de propiedad y transferencia, información sobre regalías, entre otros. Indexar rápidamente estos datos puede evitar tener que navegar uno por uno a través de cada NFT para encontrar datos de propiedad o atributos.

Ya sea que se trate de un AMM DeFi que necesita información sobre precios y liquidez, o de una aplicación SocialFi que necesita actualizar publicaciones de nuevos usuarios, la recuperación rápida de datos es crucial para el funcionamiento normal de las dApps. Con la ayuda de un indexador, pueden recuperar datos de manera eficiente y precisa, ofreciendo una experiencia de usuario fluida.

análisis

El indexador proporciona un método para extraer datos específicos de los datos originales de la cadena de bloques (incluidos los eventos de contratos inteligentes en cada bloque). Esto brinda la oportunidad de un análisis de datos más específico, lo que ofrece conocimientos completos.

Por ejemplo, los protocolos de trading perpetuo pueden identificar qué tokens tienen un alto volumen de transacciones y generan altas comisiones, lo que les permite decidir si listarlos como contratos perpetuos en la plataforma. Los desarrolladores de DEX pueden crear paneles de control para sus productos, obteniendo información sobre cuáles son los pools de liquidez con el mayor rendimiento o la mayor liquidez. También pueden crear paneles de control públicos que permitan a los desarrolladores consultar libremente cualquier tipo de datos y mostrarlos en gráficos.

Debido a que hay múltiples indexadores de blockchain disponibles, identificar las diferencias entre los protocolos de indexación es crucial para asegurar que los desarrolladores elijan el indexador que mejor se adapte a sus necesidades.

Resumen del indexador de blockchain

The Graph

The Graph es el primer protocolo de indexación lanzado en Ethereum, que permite consultar fácilmente datos de transacciones que antes eran difíciles de acceder. Utiliza subgráficos para definir y filtrar subconjuntos de datos recopilados de la blockchain, como todas las transacciones relacionadas con el pool DEX de USDC/ETH.

Usando pruebas de índice, los indexadores apuestan tokens nativos GRT para servicios de indexación y consulta, y los delegadores pueden optar por apostar sus tokens aquí. Los curadores pueden acceder a subgráficas de alta calidad para ayudar a los indexadores a determinar qué subgráficas deben compilar datos para ganar las mejores tarifas de consulta. En el proceso de transición hacia una mayor descentralización, The Graph finalmente dejará de ofrecer servicios de hospedaje y requerirá que las subgráficas se actualicen a su red, al mismo tiempo que proporciona indexadores de actualización.

Su infraestructura reduce el costo promedio a 40 dólares por cada millón de consultas, lo cual es mucho más bajo que el costo de nodos autohospedados. Al utilizar fuentes de datos de archivos, también admite la indexación paralela de datos en cadena y fuera de cadena para lograr una recuperación de datos eficiente.

Las recompensas del indexador de The Graph han crecido de manera constante en los últimos trimestres. Esto se debe en parte al aumento en la cantidad de consultas, pero también se atribuye al aumento en el precio de los tokens, ya que planean integrar consultas asistidas por inteligencia artificial en el futuro.

Subsquid

Subsquid es un lago de datos descentralizado, escalable horizontalmente y de punto a punto, que puede agregar de manera eficiente grandes cantidades de datos en cadena y fuera de cadena, y protegerlos a través de pruebas de conocimiento cero. Como una red de trabajadores descentralizada, cada nodo es responsable de almacenar datos de un subconjunto específico de bloques, acelerando el proceso de recuperación de datos al identificar rápidamente los nodos que contienen los datos necesarios.

Subsquid también admite la indexación en tiempo real, permitiendo que se indexe antes de que el bloque se confirme. También admite el almacenamiento de datos en el formato que elija el desarrollador, facilitando un análisis más sencillo con herramientas como BigQuery, Parquet o CSV. Además, los subgráficos se pueden desplegar en la red de Subsquid sin necesidad de migrar al SDK de Squid, lo que permite un despliegue sin código.

A pesar de que aún se encuentra en la fase de prueba, Subsquid ha logrado estadísticas impresionantes, con más de 80,000 usuarios en la red de pruebas, desplegando más de 60,000 indexadores Squid y con más de 20,000 desarrolladores verificados en la red. Recientemente, Subsquid lanzó la red principal de su lago de datos.

Además de los índices, el lago de datos de Subsquid Network también puede reemplazar los RPC en casos de uso como análisis, coprocesadores ZK/TEE, agentes de IA y Oracle.

SubQuery

SubQuery es una red de infraestructura de middleware descentralizada que ofrece servicios de RPC y de indexación de datos. Inicialmente, admitía las redes Polkadot y Substrate, pero ahora se ha expandido para incluir más de 200 cadenas. Funciona de manera similar a The Graph, que utiliza pruebas de indexación; los indexadores indexan datos y proporcionan solicitudes de consulta, y los delegadores apuestan sus participaciones a los indexadores. Sin embargo, introduce consumidores para presentar órdenes de compra, para garantizar que los ingresos de los indexadores estén asegurados, en lugar de los administradores.

Introducirá nodos de datos SubQuery que soportan fragmentación, para evitar la constante sincronización de nuevos datos entre cada nodo, optimizando así la eficiencia de las consultas y avanzando hacia una mayor descentralización. Los usuarios pueden optar por pagar aproximadamente 1 SQT de tarifa de computación por cada 1000 solicitudes, o establecer tarifas personalizadas para los indexadores a través del protocolo.

A pesar de que SubQuery lanzó su token a principios de este año, las recompensas de emisión para los nodos y delegados también han crecido en valor en dólares de manera interanual, lo que también representa un aumento continuo en el número de servicios de consulta ofrecidos en su plataforma. Desde el TGE, la cantidad total de SQT apostados ha aumentado de 6 millones a 125 millones, lo que destaca el crecimiento de la participación en su red.

Covalent

Covalent es una red de indexadores descentralizada, creada por nodos de la red de productores de muestras de bloques (BSP) que generan copias de datos de blockchain a través de exportaciones por lotes y publican pruebas en la blockchain L1 de Covalent. Estos datos son refinados por los nodos productores de resultados de bloques (BRP) según las reglas establecidas, filtrando los datos que cumplen con los requisitos.

A través de una API unificada, los desarrolladores pueden extraer fácilmente datos relevantes de blockchain en un formato de solicitud y respuesta consistente, sin necesidad de escribir consultas complejas personalizadas para acceder a los datos. Se pueden utilizar los tokens CQT liquidados en cierta plataforma como medio de pago para extraer estos conjuntos de datos preconfigurados de los operadores de red.

Las recompensas de Covalent parecen mostrar una tendencia general al alza desde el primer trimestre de 2023 hasta el primer trimestre de 2024, en parte debido al aumento en el precio del token de Covalent, CQT.

Consideraciones al elegir un indexador

personalización de datos

Algunos indexadores (como Covalent) son indexadores generales que solo ofrecen conjuntos de datos preconfigurados estándar a través de API. Aunque pueden ser rápidos, no pueden proporcionar flexibilidad a los desarrolladores que necesitan conjuntos de datos personalizados. Al utilizar un marco de indexadores, se permite un procesamiento de datos más personalizado para satisfacer las necesidades específicas de la aplicación.

seguro

Los datos de índice deben ser seguros, de lo contrario, las dApps construidas sobre estos indexadores también son susceptibles a ataques. Por ejemplo, si las transacciones y los saldos de las billeteras pueden ser manipulados, la dApp podría perder liquidez, lo que afectaría a sus usuarios. Aunque todos los indexadores adoptan alguna forma de seguridad mediante la participación de tokens de indexador.