Еволюція індексації даних Блокчейн: від Ноди до послуг з повноцінними даними, наданими штучним інтелектом

1 Вступ

З моменту появи першої партії dApp у 2017 році до теперішнього часу, коли різні блокчейн-застосунки процвітають, чи задумувались ми над тим, звідки беруться дані, які використовуються цими dApp?

У 2024 році AI та Web3 стануть гарячими темами. У сфері AI дані є джерелом життя. Як рослинам потрібні сонячне світло та волога, так і системи AI залежать від величезних обсягів даних для постійного навчання та еволюції. Без даних жоден найвишуканіший алгоритм AI не зможе продемонструвати своїх можливостей.

У цій статті буде проведено глибокий аналіз еволюції індексації даних у процесі розвитку індустрії з точки зору доступності даних Блокчейн, а також порівняно старі індексні протоколи The Graph з новими Chainbase і Space and Time, обговорюючи подібності та відмінності цих двох нових протоколів, що поєднують технології штучного інтелекту в аспектах сервісів даних і архітектури продуктів.

2 Складність та простота індексації даних: від нод Блокчейн до повноцінної бази даних

2.1 Джерело даних: Блокчейн Нода

Блокчейн вважається децентралізованою бухгалтерською книгою. Ноди є основою мережі блокчейнів, відповідальні за запис, зберігання та поширення всіх даних транзакцій на ланцюгу. Кожна нода має повну копію даних блокчейну, підтримуючи децентралізовану природу мережі. Але для звичайних користувачів створення та обслуговування ноди не є легким завданням. Це не тільки вимагає спеціальних навичок, але й високих витрат на апаратуру та пропускну здатність. Запитувальні можливості звичайних нод також обмежені, і вони не можуть отримувати дані у форматі, необхідному розробникам. Тому, незважаючи на те, що теоретично кожен може запустити ноду, насправді користувачі в більшій мірі покладаються на сторонні сервіси.

Щоб вирішити цю проблему, з'явилися постачальники RPC-нод. Вони відповідають за витрати та управління нодами, надаючи дані через RPC-інтерфейси. Користувачі можуть отримувати доступ до даних Блокчейн без необхідності створення власних нод. Публічні RPC-інтерфейси безкоштовні, але мають обмеження швидкості, що може вплинути на досвід використання dApp. Приватні RPC-інтерфейси мають кращу продуктивність, але простий доступ до даних також вимагає великої кількості комунікацій, що є неефективним і важким для масштабування. Проте стандартизовані API інтерфейси постачальників нод знижують бар'єри для доступу до даних, закладаючи основу для подальшого аналізу даних і застосувань.

2.2 Аналіз даних: від прототипних даних до придатних даних

Блокчейн Нода, що надає сирі дані, зазвичай проходить шифрування та кодування, що забезпечує цілісність та безпеку, але також ускладнює їх解析. Для звичайних користувачів або розробників пряме оброблення цих даних вимагає великої кількості технічних знань та обчислювальних ресурсів.

Процес解析 даних тому стає надзвичайно важливим. Перетворюючи складні прототипні дані в зрозумілий і зручний для роботи формат, користувачі можуть більш інтуїтивно використовувати ці дані. Успіх解析у безпосередньо впливає на ефективність використання даних Блокчейн, є ключовим етапом у всьому процесі індексації.

2.3 Еволюція індексаторів даних

Зі збільшенням обсягу даних Блокчейн зростає попит на індексатори. Індексатори організовують дані на ланцюгу і відправляють їх до бази даних для запитів. Вони індексують дані Блокчейн і роблять їх завжди доступними за допомогою класичної SQL-запитної мови (, такої як GraphQL API ). Індексатори надають єдиний інтерфейс запиту, що дозволяє розробникам швидко і точно отримувати інформацію за допомогою стандартизованої мови, значно спрощуючи процес.

Різні типи індексаторів оптимізують способи пошуку даних по-різному:

1. Повний індексатор нод: працює з повним Блокчейн-нодом для безпосереднього витягування даних, що забезпечує повноту і точність, але потребує великої пам'яті та обчислювальних ресурсів.
2. Легкий індексатор: залежить від повних вузлів для отримання конкретних даних за запитом, зменшуючи вимоги до зберігання, але може збільшити час запиту.
3. Спеціалізований індексатор: оптимізований для пошуку конкретних типів даних або Блокчейн, таких як дані NFT або транзакції DeFi.
4. Агент агрегування: витягує дані з кількох Блокчейн та джерел, включаючи поза мережеву інформацію, надає єдиний інтерфейс запиту, підходить для багатоланкових dApp.

Наразі, архівна Нода Ethereum у клієнті Geth займає близько 13,5 ТБ пам'яті, а клієнт Erigon – близько 3 ТБ. Із зростанням Блокчейн, вимоги до пам'яті постійно зростають. Перед обличчям величезної кількості даних, основні протоколи індексації підтримують багатоланцюгову індексацію та налаштовують рамки розбору даних відповідно до різних потреб застосувань, як-от "підграф" The Graph.

Індексатор значно підвищив ефективність індексації та запиту даних. Порівняно з традиційними RPC-інтерфейсами, індексатор може ефективно індексувати великі обсяги даних і підтримувати швидкі запити. Користувачі можуть виконувати складні запити, легко фільтруючи та аналізуючи дані. Деякі індексатори також підтримують агрегацію багатоланцюгових джерел даних, уникаючи необхідності для багатоланцюгових dApp розгортати кілька API. Дистрибутивна робота забезпечує більшу безпеку та продуктивність, зменшуючи ризик перерв, які можуть виникнути через централізованих постачальників RPC.

Індексатор за допомогою попередньо визначеної мови запитів дозволяє користувачам без необхідності обробляти складні базові дані безпосередньо отримувати потрібну інформацію. Це значно підвищує ефективність та надійність вилучення даних і є важливим нововведенням у доступі до даних Блокчейн.

2.4 Повна база даних Блокчейн: Вирівнювання за пріоритетом потоку

Використання індексних нод для запиту даних зазвичай означає, що API стає єдиним способом обробки даних на Блокчейн. Проте, коли проекти входять у стадію розширення, часто потрібні більш гнучкі джерела даних, оскільки стандартизовані API важко задовольнити. З ускладненням вимог до застосувань первинні індексатори та їх стандартизовані формати індексації поступово стають нездатними впоратися з різноманітними запитами, такими як пошук, міжланцюговий доступ або відображення даних поза Блокчейн.

В сучасній архітектурі даних, метод "пріоритету потоку" став рішенням для обмежень традиційної пакетної обробки, який забезпечує реальний прийом, обробку та аналіз даних. Ця парадигма дозволяє організаціям миттєво реагувати на вхідні дані, майже в реальному часі отримуючи інсайти та ухвалюючи рішення. Подібно, постачальники послуг даних Блокчейн також розвиваються у напрямку побудови потоків даних, традиційні постачальники індексації почали запускати продукти потоків даних Блокчейн у реальному часі, такі як Substreams від The Graph, Mirror від Goldsky, а також реальні озера даних на основі Блокчейн від Chainbase та SubSquid.

Ці послуги призначені для задоволення потреб у реальному часі для解析у Блокчейн транзакцій та надання всебічних можливостей запитів. Як "потік у пріоритеті" архітектура революціонізує традиційні способи обробки даних, зменшуючи затримки та підвищуючи чутливість, ці постачальники даних Блокчейн також сподіваються підтримати більше розробок застосунків та допомогти в аналізі даних на ланцюгу завдяки більш просунутим і зрілим джерелам даних.

Переглядаючи виклики даних на ланцюгу з точки зору сучасних дата-каналів, ми можемо по-новому оцінити потенціал управління, зберігання та надання даних. Коли ми розглядаємо підграфи та еталонні дані Ethereum (ETL) як потік даних, а не як кінцевий вихід, ми можемо уявити світ, який може налаштувати високопродуктивні набори даних для будь-якого бізнес-випадку.

3 AI + База даних? Глибоке порівняння The Graph, Chainbase, Space and Time

3.1 Граф

Мережа The Graph реалізує багатоланцюгові індексацію даних і послуги запитів через децентралізовану мережу нод, що полегшує розробникам індексацію блокчейн-даних та побудову застосунків. Основні моделі продуктів - це ринок виконання запитів даних і ринок кешування індексів, обидва з яких обслуговують запити користувачів. Ринок виконання запитів означає, що споживачі платять за вибір відповідного індекс-нод для потрібних даних, в той час як ринок кешування індексів - це коли індекс-нод розподіляє ресурси в залежності від історичної популярності підграфа, вартості запиту та потреби у кураторстві.

Субграф є основною структурою даних мережі The Graph, яка визначає, як витягувати та перетворювати дані з блокчейну в запитуваний формат. Будь-хто може створити субграф, кілька додатків можуть повторно використовувати його, підвищуючи повторюваність і ефективність використання даних.

Мережа The Graph складається з чотирьох ролей: індексаторів, кураторів, делегатів та розробників, які спільно підтримують потреби даних додатків web3. Обов'язки кожної ролі такі:

• Індексатор: оператори мережевих вузлів, які беруть участь у мережі шляхом стейкінгу GRT, надають послуги індексації та обробки запитів.
• Делегатор: Підтримує операції, ставлячи GRT на індексну ноду, отримуючи частину винагороди від делегованої ноди.
• Куратор: відповідає за те, які підграфи сигналу повинні бути пріоритетно проіндексовані мережею, щоб цінні підграфи були оброблені.
• Розробники: основні користувачі The Graph, які створюють і подають підграфи в мережу, чекаючи на задоволення потреби в даних.

Наразі The Graph перейшов на повністю децентралізовану службу хостингу підграфів, учасники мають економічні стимули для забезпечення роботи системи:

• Індексна Нода заробляє дохід, запитуючи плату та частину нагороди за ГРТ Блоки.
• Замовник отримує частину винагороди від підтримуваних індексних нод.
• Якщо куратора сигнал має цінний підграф, він може отримати частину винагороди з витрат на запит.

Продукти The Graph швидко розвиваються в епоху AI. Semiotic Labs, як одна з ключових команд розробників, прагне використовувати AI-технології для оптимізації ціноутворення на індекси та досвіду запитів користувачів. Наразі розроблені інструменти AutoAgora, Allocation Optimizer та AgentC підвищили продуктивність екосистеми в багатьох аспектах:

• AutoAgora впроваджує динамічний механізм ціноутворення, який в реальному часі коригує ціни в залежності від обсягу запитів та використання ресурсів, оптимізуючи цінову стратегію, щоб забезпечити конкурентоспроможність індексаторів та максимізацію доходу.
• Allocation Optimizer вирішує проблему розподілу ресурсів підграфа, допомагає індексатору досягти оптимальної конфігурації, підвищуючи дохід і продуктивність.
• AgentC дозволяє користувачам отримувати доступ до даних Блокчейн за допомогою природної мови, покращуючи користувацький досвід.

Ці інструменти дозволяють The Graph у поєднанні з ШІ ще більше підвищити інтелектуальність системи та зручність для користувачів.

3.2 Ланцюгова база

Chainbase є мережею даних, що охоплює всі Блокчейн-дані на одній платформі, що полегшує розробникам створення та підтримку додатків. Її унікальні функції включають:

• Реальний дата-озеро: надає спеціалізоване реальне дата-озеро для потоків даних Блокчейн, що дозволяє отримати доступ до даних, як тільки вони генеруються.
• Двоїчна архітектура: базується на Eigenlayer AVS для побудови виконуючого шару, утворюючи паралельну двоїчну архітектуру з алгоритмом консенсусу CometBFT. Цей дизайн підвищує програмованість і комбінованість міжмережевих даних, підтримує високу пропускну здатність, низьку затримку та остаточність, а також підвищує безпеку мережі за рахунок подвійного стекингу.
• Інноваційний стандарт формату даних: введення нового стандарту формату даних "manuscripts", оптимізація структуризації та використання даних у криптоіндустрії.
• Модель крипто-світу: поєднуючи технологію AI-моделей, використовуючи величезні ресурси даних Блокчейн, створюється AI-модель, яка може ефективно розуміти, прогнозувати Блокчейн-транзакції та взаємодіяти з ними. Наразі випущена базова версія моделі Theia для публічного використання.

Ці функції дозволяють Chainbase виділитися в індексаційних протоколах, зокрема, приділяючи увагу доступності даних у реальному часі, інноваційним форматам даних, а також створенню розумніших моделей для підвищення інсайтів шляхом поєднання даних з блокчейну та поза ним.

AI-модель Theia від Chainbase є ключовою відмінністю від інших протоколів даних. Theia базується на моделі DORA, розробленій NVIDIA, поєднуючи дані на ланцюгу та поза ланцюгом з тимчасовими та просторовими активностями, вивчає та аналізує крипто-матерії, а також реагує на основі причинно-наслідкового аналізу, глибоко досліджуючи потенційну цінність та закономірності даних на ланцюгу, щоб надати користувачам більш інтелектуальні послуги з даними.

Послуги даних на базі штучного інтелекту роблять Chainbase не лише платформою для послуг даних Блокчейн, а й конкурентоспроможним постачальником інтелектуальних послуг даних. Завдяки потужним ресурсам даних та активному аналізу на основі ШІ, Chainbase може забезпечити більш широкий доступ до даних і оптимізувати процес обробки даних користувачів.

3.3 Простір і час

Space and Time (SxT) прагне створити перевіряємий обчислювальний шар, розширюючи нульові знання в децентралізованому сховищі даних, щоб забезпечити надійну обробку даних для смарт-контрактів, великих мовних моделей і підприємств. Наразі отримано 20 мільйонів доларів США в раунді фінансування A, лідерами якого стали Framework Ventures, Lightspeed Faction, Arrington Capital і Hivemind Capital.

У сфері індексації даних і верифікації Space and Time впроваджує інноваційний технологічний шлях — Proof of SQL. Це технологія нульових знань, розроблена SxT, яка забезпечує захист від підробок і верифікацію SQL-запитів, що виконуються на децентралізованих сховищах даних. Під час виконання запиту Proof of SQL генерує криптографічне підтвердження, що перевіряє цілісність і точність результатів запиту. Докази додаються до результатів, і будь-який верифікатор (, як смарт-контракт ), може незалежно підтвердити, що процес обробки даних не був підроблений. Традиційні мережі блокчейн зазвичай покладаються на механізми консенсусу для верифікації достовірності даних, тоді як Proof of SQL реалізує більш ефективний спосіб верифікації даних. У системі SxT одна нода відповідає за отримання даних, тоді як інші ноди використовують технологію zk для верифікації достовірності даних. Це змінює витрати ресурсів на повторну індексацію даних кількома нодами для досягнення консенсусу, підвищуючи загальну продуктивність системи. З розвитком технології це забезпечує надійність даних.