Эволюция доступа к данным Web3: анализ индексаторов и связанных проектов

Данные являются核心技术 блокчейна и основой для разработки децентрализованных приложений (dApp). В настоящее время большинство обсуждений сосредоточено на доступности данных (DA), то есть на обеспечении доступа всех участников сети к последним данным о транзакциях для проверки. Однако другой столь же важный, но часто игнорируемый аспект - это доступность данных.

В эпоху модульных блокчейнов решения DA стали неотъемлемой частью. Эти решения обеспечивают доступ всех участников к данным о транзакциях, что позволяет осуществлять верификацию в реальном времени и поддерживать целостность сети. Однако функции уровня DA более похожи на рекламный щит, чем на базу данных. Это означает, что данные не будут храниться бесконечно, а со временем будут удаляться, как постеры на рекламном щите в конечном итоге заменяются новыми постерами.

В сравнении с этим, доступность данных сосредоточена на способности извлекать исторические данные, что критически важно для разработки dApp и проведения анализа блокчейна. Этот аспект крайне важен для задач, которые требуют доступа к прошлым данным для обеспечения точного представления и выполнения. Хотя обсуждение доступности данных менее активно, она столь же важна, как и доступность данных. Оба аспекта играют разные, но взаимодополняющие роли в экосистеме блокчейна, и комплексный подход к управлению данными должен одновременно решать обе проблемы для поддержки мощных и эффективных приложений блокчейна.

Эволюция поиска данных в блокчейне

С момента своего появления блокчейн кардинально изменил инфраструктуру, способствуя созданию dApp в таких областях, как игры, финансы и социальные сети. Однако создание этих dApp требует доступа к большому объему данных блокчейна, что является как сложной, так и дорогостоящей задачей.

Для разработчиков dApp одним из вариантов является размещение и запуск собственного архивного RPC-узла. Эти узлы с самого начала хранят все исторические данные блокчейна, позволяя полностью доступ к данным. Но обслуживание архивного узла обходится дорого, а возможности запросов ограничены, что не позволяет запрашивать данные в формате, необходимом разработчику. Хотя запуск более дешевых узлов является вариантом, возможности извлечения данных этих узлов ограничены, что может повлиять на работу dApp.

Другой способ - использовать поставщиков коммерческих RPC-узлов. Эти поставщики несут ответственность за стоимость и управление узлами, предоставляя данные через RPC-эндпоинты. Публичные RPC-эндпоинты хотя и бесплатны, имеют ограничения по скорости, что может негативно сказаться на пользовательском опыте dApp. Приватные RPC-эндпоинты обеспечивают лучшую производительность за счет снижения загруженности, но даже простые запросы данных требуют значительного количества двусторонних коммуникаций. Это делает их тяжелыми для запросов и снижает эффективность сложных запросов данных. Кроме того, приватные RPC-эндпоинты обычно трудно масштабировать и не имеют совместимости между различными сетями.

Лучший выбор: Блокчейн-индексатор

Индексаторы блокчейна играют ключевую роль в организации данных в цепочке и их отправке в базу данных для удобства запроса, поэтому их часто называют "поисковыми системами блокчейна". Их работа заключается в индексации данных блокчейна и их доступности в любое время через язык запросов, похожий на SQL (с использованием таких API, как GraphQL). Предоставляя единый интерфейс для запроса данных, индексаторы позволяют разработчикам быстро и точно извлекать необходимую информацию с помощью стандартизированного языка запросов, значительно упрощая этот процесс.

Различные типы индексаторов оптимизируют извлечение данных различными способами:

1. Полный узловой индексатор: извлечение данных непосредственно из полного узла блокчейна, что обеспечивает полную и точную информацию, но требует значительных объемов хранения и вычислительных мощностей.

2. Легковесный индексатор: полагается на полные узлы для получения конкретных данных по мере необходимости, что снижает потребность в хранении, но может увеличить время запроса.

3. Специальные индексаторы: оптимизированные для определенных типов данных или конкретных блокчейнов, например, для данных NFT или сделок DeFi.

4. Аггрегатор индексов: извлекает данные из нескольких блокчейнов и источников, включая оффлайн информацию, предоставляя единый интерфейс для запросов, что особенно полезно для многосетевых dApp.

Только для Ethereum требуется 3 ТБ пространства для хранения, и по мере роста блокчейна объем данных продолжает увеличиваться. Протокол индексирования разворачивает несколько индексаторов, которые могут эффективно индексировать и быстро запрашивать большие объемы данных, что невозможно для RPC.

Индексы также позволяют выполнять сложные запросы, легко фильтровать данные и извлекать анализ после. Некоторые индексы также могут агрегировать данные из нескольких источников, избегая развертывания нескольких API в многосетевых dApp. Распределенные по нескольким узлам индексы обеспечивают повышенную безопасность и производительность, в то время как поставщики RPC могут сталкиваться с перебоями и простоями из-за централизованных характеристик.

В целом, по сравнению с провайдерами RPC-узлов, индексы повышают эффективность и надежность извлечения данных, одновременно снижая стоимость развертывания одного узла. Это делает протоколы индексаторов блокчейна предпочтительными для разработчиков dApp.

Сценарии применения индексаторов

Для создания dApp необходимо извлекать и читать данные блокчейна для работы сервиса. Это включает различные типы dApp, такие как DeFi, NFT-платформы, игры и даже социальные сети, поскольку эти платформы должны сначала считывать данные, чтобы выполнять другие транзакции.

DeFi

Дефи-протоколы требуют различной информации для предоставления пользователям конкретных цен, ставок, сборов и т.д. Автоматизированный маркет-мейкер (AMM) нуждается в информации о ценах и ликвидности пулов для расчета ставок свопа, в то время как кредитные протоколы должны использовать коэффициент использования для определения ставок заимствования и соотношений задолженности при ликвидации. Ввод информации в dApp является необходимым перед расчётом ставок, которые будут применены пользователями.

игра

GameFi требует быстрой индексации и доступа к данным, чтобы обеспечить пользователям плавный игровой опыт. Только благодаря быстрой выборке и выполнению данных, игры Web3 могут конкурировать по производительности с играми Web2, привлекая больше пользователей. Эти игры нуждаются в данных о праве собственности на землю, балансе игровых токенов, игровых операциях и т.д. Используя индексаторы, они могут лучше гарантировать стабильный поток данных и нормальное время работы, обеспечивая идеальный игровой опыт.

NFT

Рынок NFT и платформы кредитования нуждаются в индексировании данных для доступа к различной информации, такой как метаданные NFT, данные о собственности и передаче, информация о роялти и т. д. Быстрое индексирование таких данных позволяет избежать просмотра каждого NFT по отдельности для поиска данных о собственности или атрибутах.

Будь то DeFi AMM, нуждающийся в информации о ценах и ликвидности, или приложение SocialFi, требующее обновления постов новых пользователей, быстрая проверка данных имеет решающее значение для нормальной работы dApp. С помощью индексатора они могут эффективно и точно извлекать данные, обеспечивая плавный пользовательский опыт.

Анализ

Индексатор предоставляет способ извлечения конкретных данных из оригинальных блокчейн-данных (включая события смарт-контрактов в каждом блоке). Это создает возможности для более конкретного анализа данных, что обеспечивает глубокие инсайты.

Например, протокол бессрочной торговли может определить, какие токены имеют большой объем торговли и высокие комиссии, чтобы решить, стоит ли включать их в бессрочные контракты на платформе. Разработчики DEX могут создать панели мониторинга для своих продуктов, чтобы глубже понять, какие пулы ликвидности имеют наивысшую доходность или наибольшую ликвидность. Также можно создать общие панели мониторинга, позволяющие разработчикам свободно и гибко запрашивать любые типы данных и отображать их на графиках.

Поскольку доступно несколько индексаторов блокчейна, различия между индексными протоколами имеют решающее значение для обеспечения выбора разработчиками наиболее подходящего индексатора для их нужд.

Обзор блокчейн-индексатора

Граф

The Graph является одним из первых протоколов индексирования, запущенных на Ethereum, который позволяет легко запрашивать ранее труднодоступные данные о транзакциях. Он использует подграфы для определения и фильтрации подмножества данных, собранных из блокчейна, например, всех транзакций, связанных с пулом USDC/ETH на каком-либо DEX.

Используя доказательство индекса, индексатор ставит на кон родные токены GRT для индексирования и сервисов поиска, делегаты могут выбрать ставить свои токены здесь. Кураторы могут получить доступ к высококачественным субграфам, чтобы помочь индексатору определить, для каких субграфов следует собирать данные, чтобы заработать наилучшие комиссии за запросы. В процессе перехода к большей децентрализованности The Graph в конечном итоге прекратит свои хостинговые услуги и потребует обновления субграфов до своей сети, одновременно предоставляя возможность обновления индексаторов.

Его инфраструктура снижает среднюю стоимость одного миллиона запросов до 40 долларов, что значительно ниже, чем стоимость самоуправляемых узлов. С использованием файловых источников данных он также поддерживает параллельное индексирование как онлайновых, так и оффлайновых данных для эффективного извлечения данных.

Награды индексаторов The Graph стабильно росли за последние несколько кварталов. Это связано как с увеличением объема запросов, так и с ростом цен на токены, поскольку они планируют интеграцию запросов с поддержкой искусственного интеллекта в будущем.

Подкальмар

Subsquid — это пиринговое, горизонтально масштабируемое децентрализованное озеро данных, которое эффективно агрегирует большие объемы данных как на блокчейне, так и вне его, и защищает их с помощью доказательства с нулевым раскрытием. В качестве децентрализованной сети рабочих узлов каждый узел отвечает за хранение данных из определенного подмножества блоков, ускоряя процесс извлечения данных благодаря быстрой идентификации узлов, хранящих необходимые данные.

Subsquid также поддерживает индексацию в реальном времени, что позволяет индексировать данные до их окончательной фиксации в блокчейне. Он также поддерживает хранение данных в формате, выбранном разработчиком, что упрощает анализ с использованием таких инструментов, как BigQuery, Parquet или CSV. Кроме того, подграфы могут быть развернуты в сети Subsquid без необходимости миграции на Squid SDK, что обеспечивает развертывание без кода.

Несмотря на то, что он все еще находится на стадии тестовой сети, Subsquid добился впечатляющих статистических данных, насчитывая более 80 000 пользователей тестовой сети, развернув более 60 000 индексаторов Squid и имея более 20 000 проверенных разработчиков в сети. Недавно Subsquid запустил основную сеть своего дата-озера.

Помимо индексации, дата-озеро Subsquid Network также может использоваться в качестве RPC в таких случаях, как аналитика, ZK/TEE сопроцессоры, AI-агенты и оракулы.

Подзапрос

SubQuery — это децентрализованная сетевая инфраструктура промежуточного программного обеспечения, предлагающая услуги RPC и индексирования данных. Изначально она поддерживала сети Polkadot и Substrate, но теперь расширилась до более чем 200 цепочек. Ее работа аналогична The Graph с использованием индексных доказательств, где индексаторы индексируют данные и предоставляют запросы на получение данных, а делегаторы ставят свои доли в залог индексаторам. Однако она вводит потребителей для подачи заказов на покупку, чтобы гарантировать доходы индексаторов, а не управляющих.

Он введет поддерживаемые шардирование узлы данных SubQuery, чтобы предотвратить постоянную синхронизацию новых данных между каждым узлом, тем самым оптимизируя эффективность запросов и продвигаясь к большей децентрализованности. Пользователи могут выбрать оплату вычислительных затрат примерно 1 SQT токен за каждые 1000 запросов или установить пользовательские сборы для индексаторов через протокол.

Несмотря на то, что SubQuery только что выпустил свой токен в начале этого года, вознаграждения за выпуск для узлов и делегатов также увеличились в долларах, что также свидетельствует о постоянно растущем количестве предоставляемых на платформе услуг по запросам. С момента TGE общее количество заложенных SQT увеличилось с 6 миллионов до 125 миллионов, что подчеркивает рост участия в сети.

Ковалентный

Covalent — это децентрализованная сеть индексаторов, в которой узлы сети производителей образцов блоков (BSP) создают копии данных блокчейна с помощью пакетного экспорта и публикуют доказательства на блокчейне Covalent L1. Эти данные затем уточняются узлами производителей результатов блоков (BRP) в соответствии с заданными правилами, отбирая соответствующие данные.

С помощью единого API разработчики могут легко извлекать соответствующие данные блокчейна в одном и том же формате запросов и ответов, не требуя написания сложных пользовательских запросов для доступа к данным. Для извлечения этих преднастроенных наборов данных у сетевых операторов можно использовать токены CQT, рассчитанные на определенной платформе, в качестве средства оплаты.

Награды Covalent, похоже, в целом имеют тенденцию к росту с первого квартала 2023 года до первого квартала 2024 года, отчасти благодаря росту цены токена Covalent CQT.

Важные моменты при выборе индексатора

Настраиваемость данных

Некоторые индексаторы (например, Covalent) являются универсальными индексаторами, которые предоставляют стандартные преднастроенные наборы данных только через API. Хотя они могут быть быстрыми, они не обеспечивают гибкость для разработчиков, которым нужны настраиваемые наборы данных. Используя рамки индексации, это позволяет проводить более индивидуальную обработку данных для удовлетворения специфических потребностей приложения.

безопасность

Индексы данных должны быть безопасными, иначе dApp, построенные на этих индексах, также могут быть подвержены атакам. Например, если транзакции и балансы кошельков могут быть подвержены манипуляциям, dApp может потерять ликвидность, что повлияет на его пользователей. Хотя все индексаторы используют какой-то вид безопасности через ставку токенов индексаторов.