Эволюция технологий индексирования данных в Блокчейн: от Узлов до AI-обогащенных услуг по всей цепочке

1. Введение

В последние годы децентрализованные приложения (dApp) бурно развиваются в области Блокчейн, от ранних финансовых, игровых и социальных приложений до сегодняшнего многоцепочечного экосистемы. В этом процессе источники данных и способы доступа, на которые полагаются dApp, также постоянно эволюционируют.

В 2024 году искусственный интеллект (AI) и Web3 станут горячими темами. AI-системы требуют огромных объемов данных для постоянного обучения и эволюции, как растения нуждаются в солнечном свете и влаге для полноценного роста. Без поддержки данных даже самые продвинутые алгоритмы AI не смогут продемонстрировать свою истинную интеллектуальность и эффективность.

В данной статье будет проведен глубокий анализ эволюции индексирования данных в Блокчейн с точки зрения доступности данных, а также сравнительный анализ традиционного протокола индексирования данных The Graph и новых протоколов блокчейн-данных Chainbase и Space and Time, чтобы обсудить сходства и различия этих новых протоколов, использующих технологии ИИ, в области услуг по обработке данных и архитектуры продуктов.

2. Сложность и простота индексирования данных: от узла блокчейна до полной базы данных цепочки

2.1 Источник данных: Узел Блокчейн

Основой Блокчейн является децентрализованная сеть, состоящая из множества Узлов, каждый из которых хранит полную копию данных Блокчейн. Однако для обычных пользователей создание и поддержание Узлов не является легким делом, это требует не только профессиональных навыков, но и сопряжено с высокими затратами на оборудование и пропускную способность. В то же время, возможности запроса обычных Узлов ограничены, что затрудняет удовлетворение потребностей разработчиков.

Чтобы решить эту проблему, появились провайдеры узлов для удаленного вызова процедур (RPC). Эти сервисы отвечают за эксплуатацию и управление узлами, предоставляя пользователям доступ к данным через RPC-эндпоинты. Хотя публичные RPC-эндпоинты бесплатны, они имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Частные RPC-эндпоинты, хотя и обеспечивают лучшую производительность, все еще демонстрируют низкую эффективность при сложных запросах и трудно масштабируются через сети. Тем не менее, стандартизированные API-интерфейсы провайдеров узлов снизили барьеры для пользователей, получающих доступ к данным на блокчейне, и заложили основу для последующей обработки данных и приложений.

2.2 Анализ данных: от прототипных данных до пригодных данных

Данные, предоставляемые узлами Блокчейн, обычно проходят шифрование и кодирование, и их непосредственное использование может быть затруднительным для обычных пользователей и разработчиков. Процесс анализа данных превращает сложные прототипные данные в более понятный и удобный для работы формат, что является ключевым этапом всего процесса индексации данных.

2.3 Эволюция индексатора данных

С ростом объема данных Блокчейн потребность в индексаторах данных становится все более очевидной. Индексаторы могут организовывать данные на цепочке и сохранять их в базу данных, что облегчает запросы. Они индексируют данные Блокчейн и предоставляют язык запросов, подобный SQL, (, такой как интерфейс GraphQL ), что делает данные всегда доступными. Индексаторы предоставляют разработчикам стандартизированный язык запросов, что значительно упрощает процесс извлечения данных.

Различные типы индексаторов имеют свои особенности:

1. Полный узел индексатор: извлечение данных непосредственно из полного узла, обеспечивая целостность данных, но требуется большое количество хранилищ и вычислительных ресурсов.
2. Легковесный индексатор: зависит от полных узлов для получения конкретных данных по мере необходимости, снижает требования к хранению, но может увеличить время запроса.
3. Специальный индексатор: оптимизация для определённых типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
4. Аггрегатор индексов: извлечение данных из нескольких Блокчейнов и источников, включая информацию вне цепи, предоставляющее единый интерфейс для запроса, подходящее для многосетевых dApp.

В настоящее время требования к хранению архивных узлов Ethereum варьируются от 3TB до 13.5TB в зависимости от различных клиентов, и с продолжающимся ростом блокчейна этот объем данных продолжает увеличиваться. Столкнувшись с таким огромным объемом данных, основные протоколы индексирования не только поддерживают многосетевое индексирование, но также настраивают фреймы для разбора данных в соответствии с требованиями различных приложений.

По сравнению с традиционными RPC-эндпоинтами, индексаторы имеют значительные преимущества в области индексирования данных и эффективности запросов. Они могут эффективно индексировать огромные объемы данных, поддерживать сложные запросы и фильтрацию данных, а также проводить анализ после извлечения. Некоторые индексаторы также поддерживают агрегацию источников данных из нескольких блокчейнов, что решает проблему развертывания нескольких API для многоцепочечных dApp. Благодаря распределенному выполнению индексаторы обеспечивают большую безопасность и производительность, одновременно снижая риск сбоев, связанных с централизованными провайдерами RPC.

2.4 Полная база данных блокчейна: выравнивание по потоку в приоритете

С учетом того, что требования к приложениям становятся все более сложными, стандартный формат индексации API постепенно становится недостаточным для удовлетворения разнообразных запросов, таких как кросс-чейн доступ или отображение данных вне цепи. В современной архитектуре данных метод "приоритета потока" становится решением для преодоления ограничений традиционной пакетной обработки, позволяя осуществлять обработку и анализ данных в реальном времени.

Поставщики услуг данных Блокчейн также движутся в сторону создания потоков данных Блокчейн. Традиционные поставщики индексных услуг активно запускают продукты для получения данных Блокчейн в реальном времени в формате потоков данных, такие как Substreams от The Graph и Mirror от Goldsky. Также появились такие сервисы, как Chainbase и SubSquid, которые представляют собой озера данных в реальном времени, основанные на потоках данных, генерируемых Блокчейн.

Эти услуги направлены на решение потребностей в реальном времени анализа транзакций Блокчейн и предоставления более широких возможностей для запросов. Переосмысляя вызовы данных на цепочке с точки зрения современных дата-пайплайнов, мы можем представить мир, где можно настраивать высокопроизводительные наборы данных для любого бизнес-кейса.

3. AI + База данных? Глубокое сравнение The Graph, Chainbase, Space and Time

3.1 Граф

Сеть The Graph предоставляет многоцепочечные услуги индексирования и запроса данных через децентрализованную сеть узлов, что облегчает разработчикам индексирование данных блокчейна и создание децентрализованных приложений. Основные модели продуктов включают рынок выполнения запросов данных и рынок кэширования индексированных данных, обслуживающие запросы пользователей на продукты.

Субграфы ( являются основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в формат, пригодный для запросов. Любой может создать субграф, и несколько приложений могут повторно использовать эти субграфы, что повышает повторное использование данных и эффективность их использования.

Сеть The Graph состоит из четырех ключевых ролей: индексатор, куратор, делегатор и разработчик. Индексатор предоставляет услуги индексации и обработки запросов; делегатор ставит токены для поддержки работы индексных узлов; куратор отвечает за сигнализацию о том, какие подграфы должны индексироваться в сети; разработчик как сторона, требующая услуги, создает и подает подграфы.

Продукты The Graph также быстро развиваются в условиях волны ИИ. Инструменты AutoAgora, Allocation Optimizer и AgentC, разработанные Semiotic Labs, улучшают производительность экосистемы в различных аспектах, таких как динамические механизмы ценообразования, оптимизация распределения ресурсов и запросы на естественном языке.

![Чтение, индексирование до анализа, краткое описание сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(

) 3.2 Chainbase

Chainbase — это сеть данных для блокчейна, объединяющая все данные блокчейна на одной платформе. Его уникальные функции включают:

• Реальное время данных: предоставляет специализированное хранилище данных в реальном времени для потоков данных Блокчейн.
• Двухцепочная архитектура: основана на Eigenlayer AVS для построения исполнительного слоя и образует параллельную двухцепочную архитектуру с алгоритмом консенсуса CometBFT.
• Инновационный стандарт формата данных: внедрение стандарта формата данных "manuscripts", оптимизация структурирования и использования данных в криптоиндустрии.
• Модель криптовалютного мира: сочетая технологии AI-моделей, создать AI-модель, способную понимать, прогнозировать Блокчейн-транзакции и взаимодействовать с ними.

AI-модель Theia от Chainbase является ключевым моментом, основанным на модели DORA от NVIDIA, сочетая данные из блокчейна и вне его, а также временные и пространственные активности, для изучения и анализа криптографических моделей, реагируя через причинно-следственное рассуждение.

![Чтение, индексирование до анализа, краткое описание сектора индексации данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(

) 3.3 Пространство и Время

Space and Time ###SxT( нацелен на создание проверяемого вычислительного слоя, расширяющего нулевое доказательство на децентрализованных хранилищах данных. Его инновационная технология Proof of SQL является технологией нулевого доказательства, которая гарантирует, что SQL-запросы, выполняемые в децентрализованных хранилищах данных, являются защищенными от подделки и проверяемыми.

SxT сотрудничает с лабораторией совместных инноваций Microsoft AI для разработки инструментов генеративного ИИ, упрощающих пользователям обработку данных Блокчейн с помощью обработки естественного языка. В Space and Time Studio пользователи могут вводить запросы на естественном языке, ИИ автоматически преобразует их в SQL и выполняет запрос.

![Чтение, индексирование для анализа, краткий обзор сектора индексирования данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(

Выводы и перспективы

Технология индексирования данных Блокчейн прошла путь от первоначального узла источника данных, через развитие обработки данных и индексаторов, до окончательной эволюции в полное цепочное обслуживание данных с использованием ИИ, пройдя процесс постепенного совершенствования. Постоянная эволюция этих технологий не только повысила эффективность и точность доступа к данным, но и принесла пользователям интеллектуальный опыт.

В будущем, с постоянным развитием новых технологий, таких как технологии ИИ и нулевые доказательства, услуги по данным в Блокчейн станут еще более умными и безопасными. В качестве инфраструктуры, услуги по данным в Блокчейн продолжат оказывать мощную поддержку прогрессу и инновациям в отрасли.

![Чтение, индексация для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(