Эволюция индексации данных Блокчейн: от Узлов до AI-обеспеченных сервисов данных по всей цепочке

1 Введение

С момента появления первой партии dApp в 2017 году и до сегодняшнего дня, когда разнообразные приложения Блокчейн расцветают, мы задумывались о том, откуда берутся данные, используемые этими dApp?

В 2024 году AI и Web3 станут热点. В области AI данные подобны источнику жизни. Как растениям нужны солнечный свет и влага, так и AI-системы зависят от огромного объема данных для постоянного обучения и эволюции. Без данных даже самые изысканные алгоритмы AI не смогут проявить свою истинную интеллектуальность.

В данной статье будет проведен глубокий анализ эволюции индексации данных в процессе развития отрасли с точки зрения доступности данных Блокчейн, а также будет проведено сравнение между устоявшимся индексным протоколом The Graph и новыми Chainbase и Space and Time, чтобы обсудить сходства и различия этих двух новых протоколов, объединяющих технологии ИИ, в области обслуживания данных и архитектуры продуктов.

2 Сложность и простота индексирования данных: от узлов Блокчейн до полной базы данных цепи

2.1 Источник данных: Узел Блокчейн

Блокчейн рассматривается как децентрализованная бухгалтерская книга. Узел является основой сети блокчейн, отвечая за запись, хранение и распространение всех данных о транзакциях в сети. Каждый узел имеет полную копию данных блокчейн, поддерживая децентрализованный характер сети. Но для обычных пользователей создание и поддержка узла не является легким делом. Это требует не только профессиональных навыков, но и высоких затрат на оборудование и пропускную способность. Запросные возможности обычного узла также ограничены, и он не может получать данные в формате, необходимом разработчикам. Таким образом, хотя теоретически каждый может запустить узел, на практике пользователи чаще полагаются на сторонние услуги.

Чтобы решить эту проблему, появились поставщики узлов RPC. Они отвечают за стоимость и управление узлами, предоставляя данные через RPC-эндпоинты. Пользователи могут получать доступ к данным блокчейна без необходимости создания собственных узлов. Публичные RPC-эндпоинты бесплатны, но имеют ограничения по скорости, что может повлиять на опыт использования dApp. Частные RPC-эндпоинты имеют лучшую производительность, но простой запрос данных также требует большого объема связи, что снижает эффективность и затрудняет масштабирование. Тем не менее, стандартизированные API-интерфейсы поставщиков узлов снижают барьеры для доступа к данным и закладывают основу для последующей обработки данных и приложений.

2.2 Анализ данных: от прототипных данных до пригодных данных

Данные, предоставляемые узлами Блокчейн, обычно шифруются и кодируются, что обеспечивает целостность и безопасность, но также увеличивает сложность их анализа. Для обычных пользователей или разработчиков работа с этими данными напрямую требует значительных технических знаний и вычислительных ресурсов.

Процесс анализа данных, таким образом, становится критически важным. Путем преобразования сложных прототипных данных в понятный и удобный для работы формат, пользователи могут более интуитивно использовать эти данные. Успех или неудача анализа напрямую влияет на эффективность применения данных Блокчейн, что является ключевым этапом всего процесса индексации.

2.3 Эволюция индексатора данных

С увеличением объема данных Блокчейн, потребность в индексаторе возрастает. Индексаторы организуют данные на цепочке и отправляют их в базу данных для запроса. Они индексируют данные Блокчейн и делают их доступными в любое время через язык запросов, подобный SQL (, такой как GraphQL API ). Индексаторы предоставляют унифицированный интерфейс запросов, позволяя разработчикам быстро и точно извлекать информацию с помощью стандартизированного языка, значительно упрощая процесс.

Разные типы индексаторов оптимизируют способы извлечения данных по-разному:

1. Полный узел-индексатор: запускает полный узел Блокчейн для прямого извлечения данных, обеспечивая полность и точность, но требует большого объема хранилища и вычислительных мощностей.
2. Легковесный индексатор: зависит от полных узлов для получения определенных данных по мере необходимости, снижая требования к хранилищу, но возможно увеличивая время запроса.
3. Специальный индексатор: оптимизированный для поиска определенных типов данных или Блокчейн, таких как данные NFT или DeFi-транзакции.
4. Агрегатор индексов: извлечение данных из нескольких Блокчейн и источников, включая оффлейн информацию, предоставление единого интерфейса запроса, подходит для многосетевых dApp.

В настоящее время архивные узлы Ethereum занимают около 13,5 ТБ хранилища в клиенте Geth и около 3 ТБ в клиенте Erigon. С ростом Блокчейна потребность в хранилище продолжает увеличиваться. Перед лицом огромного объема данных основные протоколы индексации поддерживают многосетевую индексацию и настраивают фреймворки анализа данных под различные потребности приложений, такие как фреймворк "подграфов" The Graph.

Индексатор значительно повышает эффективность индексирования и запроса данных. В отличие от традиционных RPC-эндпоинтов, индексатор может эффективно индексировать большие объемы данных и поддерживать высокоскоростные запросы. Пользователи могут выполнять сложные запросы, легко фильтровать и анализировать данные. Некоторые индексаторы также поддерживают агрегирование данных из нескольких цепочек, избегая развертывания нескольких API для многоцепочечных dApp. Распределенная работа обеспечивает большую безопасность и производительность, снижая риск сбоев, связанных с централизованными поставщиками RPC.

Индексатор с помощью предопределенного языка запросов позволяет пользователям напрямую получать необходимую информацию, не обрабатывая сложные базовые данные. Это значительно повышает эффективность и надежность извлечения данных и является важной инновацией в доступе к данным Блокчейн.

2.4 Полная база данных блокчейна: выравнивание по приоритету потока

Использование индексных узлов для запроса данных обычно означает, что API становится единственным способом обработки данных на блокчейне. Однако, когда проект входит в стадию расширения, часто требуется более гибкий источник данных, и стандартизированные API трудно удовлетворить. С усложнением требований приложений первичные индексаторы и их стандартизированные индексные форматы постепенно становятся трудными для удовлетворения разнообразных запросов, таких как поиск, кросс-чейн доступ или отображение данных вне сети.

В современной архитектуре данных метод "приоритет потока" стал решением для преодоления ограничений традиционной пакетной обработки, обеспечивая ввод, обработку и анализ данных в реальном времени. Это изменение парадигмы позволяет организациям немедленно реагировать на входящие данные, практически в реальном времени получать инсайты и принимать решения. Аналогично, поставщики услуг данных Блокчейн также стремятся к созданию потоков данных, традиционные поставщики индексирования запускают продукты потоковых данных Блокчейн в реальном времени, такие как Substreams от The Graph, Mirror от Goldsky, а также Chainbase и SubSquid, которые представляют собой озера данных в реальном времени, созданные на основе Блокчейн.

Эти услуги направлены на решение потребности в实时解析 Блокчейн транзакций и предоставлении всесторонних возможностей для запросов. Как "приоритет потока" архитектура революционизирует традиционные методы обработки данных, снижая задержки и увеличивая отзывчивость, эти провайдеры потоковых данных Блокчейн также стремятся поддерживать большее количество приложений и содействовать анализу данных на цепочке с помощью более совершенных и зрелых источников данных.

Переосмысливая вызовы данных на блокчейне с точки зрения современных дата-пайплайнов, мы получаем возможность взглянуть на потенциал управления, хранения и предоставления данных с новой перспективы. Когда мы рассматриваем индексаторы, такие как Subgraph и Ethereum ETL, как потоки данных, а не как конечный выход, можно представить мир, в котором высокопроизводительные наборы данных могут быть индивидуально адаптированы для любого бизнес-кейса.

3 ИИ + База данных? Глубокое сравнение The Graph, Chainbase, Space and Time

3.1 Граф

Сеть The Graph реализует многосетевые индексацию и услуги запроса данных через децентрализованную сеть узлов, облегчая разработчикам индексацию данных Блокчейн и создание приложений. Основные продуктовые модели включают рынок выполнения запросов данных и рынок кэширования индексов данных, которые обслуживают запросы пользователей. Рынок выполнения запросов данных означает, что потребители платят за выбор подходящего узла индекса для необходимых данных, в то время как рынок кэширования индексов использует ресурсы узлов индекса в зависимости от исторической популярности подграфа, стоимости запроса и потребностей кураторства.

Субграф является основной структурой данных сети The Graph, определяющей, как извлекать и преобразовывать данные из Блокчейн в запрашиваемый формат. Любой может создать субграф, и несколько приложений могут его повторно использовать, повышая повторяемость данных и эффективность использования.

Сеть The Graph состоит из четырех ролей: индексаторов, кураторов, делегатов и разработчиков, совместно поддерживающих потребности данных веб3 приложений. Обязанности каждой роли следующие:

• Индексатор: операторы сетевых узлов, участвующие в сети за счет стейкинга GRT, предоставляют услуги индексирования и обработки запросов.
• Доверитель: Полагает GRT узлу индексации для поддержки операций, зарабатывая часть вознаграждений от доверенного узла.
• Куратор: отвечает за то, какие подпроекты сигнала должны быть приоритетно индексированы сетью, чтобы обеспечить обработку ценных подпроектов.
• Разработчик: Основной пользователь The Graph, создает и отправляет подграфы в сеть, ожидая удовлетворения спроса на данные.

В настоящее время The Graph полностью перешел на децентрализованное хостинг-сервис для субграфов, участники имеют экономические стимулы для обеспечения работы системы:

• Узел получает доход, запрашивая сборы и часть вознаграждения за блоки GRT.
• Делегатор получает часть вознаграждения от поддерживаемых узлов.
• Если куратор считает, что сигнал имеет ценную подсеть, он может получить часть вознаграждения из платы за запрос.

Продукты The Graph быстро развиваются на волне AI. Semiotic Labs, как одна из ключевых команд разработчиков, стремится использовать технологии AI для оптимизации индексации, ценообразования и пользовательского опыта запросов. В настоящее время разработанные инструменты AutoAgora, Allocation Optimizer и AgentC значительно улучшили производительность экосистемы:

• AutoAgora вводит динамический механизм ценообразования, который в реальном времени корректирует цены в зависимости от объема запросов и использования ресурсов, оптимизируя ценовую стратегию и обеспечивая конкурентоспособность индексаторов и максимизацию доходов.
• Allocation Optimizer решает проблему распределения ресурсов подграфа, помогая индексатору достичь оптимальной конфигурации, повышая доход и производительность.
• AgentC позволяет пользователям получать доступ к данным Блокчейн с помощью естественного языка, улучшая пользовательский опыт.

Применение этих инструментов позволило The Graph в сочетании с ИИ дополнительно повысить интеллектуальность системы и удобство для пользователей.

3.2 Chainbase

Chainbase — это сеть данных для всего блокчейна, объединяющая все данные блокчейна на одной платформе, что упрощает разработчикам создание и поддержку приложений. К ее уникальным функциям относятся:

• Реальный дата-озеро: предоставляет специально предназначенное для потоков данных Блокчейн реальное дата-озеро, позволяющее доступ к данным по мере их генерации.
• Двухцепочная архитектура: основана на Eigenlayer AVS для построения слоя выполнения, в сочетании с алгоритмом консенсуса CometBFT формирует параллельную двухцепочную архитектуру. Этот дизайн усиливает программируемость и композируемость данных между цепями, поддерживает высокую пропускную способность, низкую задержку и финальность, а также повышает безопасность сети за счет двойного залога.
• Инновационный стандарт формата данных: введение нового стандарта формата данных "manuscripts", оптимизация структурирования и использования данных в криптоиндустрии.
• Модель криптомира: сочетая технологии моделей ИИ и используя обширные ресурсы данных Блокчейн, разработать модель ИИ, способную эффективно понимать, предсказывать Блокчейн-транзакции и взаимодействовать с ними. В настоящее время выпущена базовая версия модели Theia для общественного использования.

Эти функции делают Chainbase выдающимся в индексационных протоколах, особенно акцентируя внимание на доступности данных в реальном времени, инновационных форматах данных, а также на создании более интеллектуальных моделей для повышения понимания за счет интеграции данных на блокчейне и вне его.

AI-модель Theia от Chainbase является ключевым фактором, который отличает его от других протоколов данных. Theia основана на модели DORA, разработанной NVIDIA, и сочетает в себе данные на блокчейне и вне его, а также временные и пространственные активности, обучаясь анализировать криптографические модели и реагировать с помощью причинно-следственного вывода, глубоко извлекая потенциальную ценность и закономерности данных на блокчейне, предоставляя пользователям более интеллектуальные услуги данных.

Сервисы данных, основанные на ИИ, делают Chainbase не только платформой для обслуживания данных Блокчейн, но и конкурентоспособным поставщиком интеллектуальных услуг данных. Благодаря мощным ресурсам данных и активному анализу ИИ, Chainbase может предоставить более широкий спектр аналитики данных и оптимизировать процесс обработки данных пользователей.

3.3 Пространство и Время

Space and Time (SxT) стремится создать проверяемый вычислительный уровень, расширяя доказательства с нулевым разглашением на децентрализованных хранилищах данных, предоставляя надежную обработку данных для смарт-контрактов, больших языковых моделей и предприятий. На данный момент получено 20 миллионов долларов в рамках раунда A, который возглавили Framework Ventures, Lightspeed Faction, Arrington Capital и Hivemind Capital.

В области индексирования данных и верификации Space and Time представляет инновационный технологический путь — Proof of SQL. Это разработанная SxT технология нулевых знаний, обеспечивающая защиту от подделки и возможность верификации SQL-запросов, выполняемых на децентрализованном хранилище данных. При выполнении запроса Proof of SQL генерирует криптографическое доказательство, подтверждающее целостность и точность результатов запроса. Доказательство прикрепляется к результатам, и любой проверяющий (, такой как смарт-контракт ), может независимо подтвердить, что процесс обработки данных не был подделан. Традиционные сети Блокчейн обычно полагаются на механизмы согласования для проверки подлинности данных, в то время как Proof of SQL реализует более эффективный способ верификации данных. В системе SxT один Узел отвечает за получение данных, а другие Узлы с помощью технологии zk проверяют подлинность данных. Это изменяет затраты ресурсов на многократное индексирование данных несколькими Узлами для достижения согласия, повышая общую производительность системы. С развитием технологий это обеспечивает надежность данных.