От источника данных к интеллектуальному анализу: эволюция технологий индексирования данных Блокчейн

1. Введение

С тех пор как в 2017 году появились первые децентрализованные приложения (dApp), экосистема блокчейн-приложений стремительно развивалась. Обсуждая эти dApp, задумывались ли мы когда-либо о различных источниках данных, которые они используют?

В 2024 году искусственный интеллект и Web3 станут горячими темами. В области ИИ данные подобны источнику его роста и эволюции. Как растениям нужны солнечный свет и влага, так и системам ИИ необходимы огромные объемы данных для постоянного обучения и размышления. Без поддержки данных даже самые современные алгоритмы ИИ не смогут реализовать свой потенциал.

В данной статье будет проведен глубокий анализ эволюции индексирования данных в процессе развития отрасли с точки зрения доступности данных Блокчейн, а также будет проведено сравнение традиционных протоколов индексирования данных с новыми протоколами данных Блокчейн, обсуждая особенности новых протоколов, сочетающих технологии ИИ, в области обслуживания данных и архитектуры продуктов.

2. Эволюция индексации данных: от узлов Блокчейн до полной базы данных цепочки

2.1 Источник данных: Блокчейн узел

Блокчейн часто описывается как децентрализованный бухгалтерский регистр. Узлы блокчейна являются основой всей сети, отвечая за запись, хранение и распространение всех данных о транзакциях в сети. Каждый узел имеет полную копию данных блокчейна, поддерживая децентрализованный характер сети. Однако для обычных пользователей создание и поддержка узлов не является простой задачей, так как это требует профессиональных знаний и сопряжено с высокими затратами. В то же время, возможности обычных узлов для запросов ограничены, что не может удовлетворить потребности разработчиков. Поэтому пользователи обычно полагаются на сторонние сервисы.

Чтобы решить эту проблему, появились провайдеры RPC-узлов. Они отвечают за управление узлами и предоставляют доступ к данным через RPC-эндпоинты. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может повлиять на пользовательский опыт dApp. Приватные RPC-эндпоинты обеспечивают лучшую производительность, но они неэффективны для сложных запросов и трудны для масштабирования. Тем не менее, стандартный API-интерфейс провайдеров узлов снижает барьер для пользователей при доступе к данным в цепочке, закладывая основу для последующих приложений данных.

2.2 Анализ данных: от сырых данных до полезных данных

Данные, предоставляемые узлами Блокчейн, обычно проходят обработку шифрованием и кодированием. Эти данные сохраняют целостность и безопасность Блокчейн, но увеличивают сложность их анализа. Для обычных пользователей или разработчиков прямое обращение с этими данными требует значительных технических знаний и вычислительных ресурсов.

Процесс анализа данных в этом контексте становится особенно важным. Преобразуя сложные исходные данные в более понятный и удобный для работы формат, пользователи могут более наглядно использовать эти данные. Качество анализа напрямую влияет на эффективность и результативность применения данных Блокчейн, является ключевым этапом всего процесса индексирования данных.

2.3 Развитие индексаторов данных

С увеличением объема данных Блокчейн растет потребность в индексаторе данных. Индексаторы отвечают за организацию данных на блокчейне и их отправку в базу данных для запроса. Они индексируют данные Блокчейн и предоставляют API-интерфейсы с языком запросов, подобным SQL, таким как GraphQL(, для обеспечения доступности данных в любое время. Индексаторы предоставляют разработчикам унифицированный интерфейс запроса, значительно упрощая процесс извлечения данных.

Разные типы индексаторов оптимизируют способы извлечения данных по-разному:

1. Полный узловой индексатор: извлекает данные напрямую из полного узла, обеспечивая целостность данных, но требует больших объемов хранилища и вычислительных мощностей.
2. Легковесный индексатор: полагается на полные узлы для получения конкретных данных по мере необходимости, снижая требования к хранению, но возможно увеличивая время запроса.
3. Специальный индексатор: оптимизирован для конкретных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
4. Агрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая оффлайн информацию, предоставление единого интерфейса для запросов, подходит для многосетевых dApp.

В настоящее время требования к хранению архивных узлов Ethereum значительно различаются в зависимости от различных клиентов. Столкнувшись с огромным объемом данных, основные протоколы индексации не только поддерживают многосетевую индексацию, но и адаптировали рамки разбора данных под различные потребности приложений.

Появление индексаторов значительно повысило эффективность индексации и поиска данных. В отличие от традиционных RPC-эндпоинтов, индексаторы могут эффективно индексировать большие объемы данных, поддерживая высокоскоростные сложные запросы и фильтрацию данных. Некоторые индексаторы также поддерживают агрегацию данных из нескольких Блокчейн, избегая проблемы развертывания нескольких API для многосетевых dApp. Распределенное выполнение обеспечивает более высокую безопасность и производительность, снижая риски, которые могут быть связаны с централизованными поставщиками RPC.

![Чтение, индексация и анализ, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-587ce87f6dbedee4acec7d939fed6980.webp(

) 2.4 Полная цепочка данных: выравнивание по приоритету потока

Использование индексных узлов для запроса данных обычно предполагает, что API является единственным порталом для обработки данных на Блокчейне. Однако, когда проект переходит в стадию расширения, часто требуется более гибкий источник данных. С усложнением требований приложений первичные индексаторы данных с трудом справляются с разнообразными запросами, такими как поиск, кросс-цепной доступ или отображение данных вне цепи.

В современных архитектурах данных метод "потоковый приоритет" стал решением ограничений традиционной пакетной обработки, обеспечивая обработку и анализ данных в реальном времени. Поставщики услуг данных Блокчейн также развиваются в направлении построения потоков данных и выпустили продукты для получения данных Блокчейн в реальном времени в виде потоков данных.

Эти услуги нацелены на решение потребности в реальном времени анализа блокчейн-транзакций и предоставлении полного объема возможностей для запросов. Пересматривая проблемы управления данными в цепочке с точки зрения современных дата-каналов, мы получаем возможность взглянуть на потенциал управления, хранения и предоставления данных в цепочке с новой перспективы.

3. Сочетание ИИ и баз данных: Сравнение The Graph, Chainbase и Space and Time

3.1 Граф

Сеть The Graph реализует услуги индексирования и запроса данных многопоточности через децентрализованную сеть узлов, что упрощает разработчикам индексирование данных блокчейна и создание dApp. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексированных данных, обслуживающих потребности пользователей в запросах продуктов.

Подграф — это базовая структура данных сети The Graph, которая определяет, как извлекать и преобразовывать данные из Блокчейн в запрашиваемый формат. Сеть состоит из четырех ключевых ролей: индексаторов, кураторов, делегатов и разработчиков, которые обеспечивают функционирование системы через экономические стимулы.

Продукты The Graph также быстро развиваются на волне ИИ. Инструменты, разработанные Semiotic Labs, такие как AutoAgora, Allocation Optimizer и AgentC, оптимизируют стратегию ценообразования, распределение ресурсов и пользовательский опыт, повышая интеллектуальность системы и удобство для пользователей.

![Считывание, индексация для анализа, краткий обзор сектора индексации данных Web3]###https://img-cdn.gateio.im/webp-social/moments-cf9a002b9b094fbbe3be7f611001b5c1.webp(

) 3.2 Chainbase

Chainbase — это сеть данных полного цикла, интегрирующая все данные блокчейна на одной платформе. Его особенности включают:

• Реальный дата-озеро: предоставляет специальное реальное дата-озеро для потоков данных Блокчейн.
• Двухцепочечная архитектура: основана на Eigenlayer AVS, построена на уровне выполнения, совместно с алгоритмом консенсуса CometBFT формирует параллельную архитектуру.
• Инновационный стандарт формата данных: введение стандарта формата данных "manuscripts".
• Модель криптомира: сочетая технологии AI-моделей, создать AI-модель Theia, способную понимать и предсказывать блокчейн-транзакции.

AI модель Theia от Chainbase основана на модели DORA от NVIDIA, сочетая анализ данных на цепочке и вне цепочки с криптографическими методами, чтобы предоставить пользователям интеллектуальные услуги по работе с данными.

![Чтение, индексирование для анализа, краткий обзор сектора индексирования данных Web3]###https://img-cdn.gateio.im/webp-social/moments-b343cab5112c1a3d52f4e72122ae0df2.webp(

) 3.3 Пространство и Время

Space and Time ###SxT( нацелена на создание проверяемого вычислительного слоя, который расширяет нулевое знание на децентрализованных хранилищах данных. Их инновационная технология Proof of SQL обеспечивает защиту от подделки и проверяемость SQL-запросов, предлагая решения для отраслей с высокими требованиями к надежности данных.

SxT совместно с лабораторией инноваций AI от Microsoft разрабатывает инструменты генеративного AI, чтобы упростить пользователям обработку данных Блокчейн с помощью естественного языка. Пользователи могут испытать в Space and Time Studio, как AI автоматически преобразует естественный язык в SQL и выполняет запросы.

![Чтение, индексирование и анализ, краткое изложение сектора индексирования данных Web3])https://img-cdn.gateio.im/webp-social/moments-97443cbd177ac4ffd1665da670ffbf12.webp(

Заключение и перспективы

Технология индексирования данных Блокчейн с самого начала, начиная с узловых источников данных, через развитие анализа данных и индексаторов, в конечном итоге эволюционировала в полную цепочку услуг данных, усиленных ИИ, пройдя процесс постепенного совершенствования. Эта эволюция технологий не только повысила эффективность и точность доступа к данным, но и принесла интеллектуальный опыт.

В будущем, с развитием новых технологий, таких как AI и доказательства с нулевым разглашением, услуги блокчейн-данных станут еще более интеллектуальными и безопасными. В качестве инфраструктуры услуги блокчейн-данных продолжат поддерживать прогресс и инновации в отрасли.

![Чтение, индексация для анализа, краткий обзор сектора индексации данных Web3])https://img-cdn.gateio.im/webp-social/moments-0742180b7da8a9dcddafc465a4dba9cb.webp(