Святий Грааль Crypto AI: Передові дослідження децентралізованого навчання

У повній вартості ланцюга AI, навчання моделей є найбільш ресурсомістким етапом з найвищими технічними вимогами, який безпосередньо визначає верхню межу можливостей моделі та ефективність її практичного застосування. У порівнянні з легковаговими викликами на етапі інференції, процес навчання вимагає постійних витрат потужних обчислень, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" системи AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Концентрація навчання є найбільш поширеним традиційним способом, що виконується єдиною установою на локальних високопродуктивних кластерах, яка завершує весь процес навчання: від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчальної платформи, які координуються єдиною системою управління. Така глибока співпраця архітектури дозволяє досягати оптимальної ефективності обміну пам'яттю, синхронізації градієнтів та механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT, Gemini тощо, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів ресурсів, споживання енергії та ризику єдиної точки.

Розподілене навчання є основним методом навчання великих моделей в даний час, його основа полягає в тому, щоб розбити завдання навчання моделі та розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча в фізичному сенсі він має "розподілені" характеристики, але в цілому все ще контролюється централізованою установою, яка здійснює управління та синхронізацію, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної міжмашинної зв'язку NVLink, з централізованим координацією головним вузлом для виконання підзавдань. Основні методи включають:

• Паралелізація даних: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
• Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості
• Паралельні канали: поетапне послідовне виконання, підвищення пропускної здатності
• Тензорне паралельне обчислення: тонка сегментація матричних обчислень, підвищення паралельної дискретизації

Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками кількох "офісів" для спільного виконання завдань. Наразі майже всі основні великі моделі навчаються саме таким чином.

Децентралізація тренування означає більш відкритий і антицензурний шлях у майбутньому. Його основні риси: кілька ненадійних вузлів спільно виконують завдання тренування без центрального координатора, зазвичай через протоколи, що керують розподілом завдань і співпрацею, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:

• Гетерогенність пристроїв і труднощі розподілу: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, помітне вузьке місце в синхронізації градієнтів
• Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи справді вузли беруть участь у обчисленнях.
• Відсутність єдиного координування: немає центрального диспетчера, складний розподіл завдань і механізм відкату помилок.

Децентралізація тренування можна зрозуміти як: група добровольців з усього світу, які кожен вносять обчислювальну потужність для спільного тренування моделі, але "справжнє життєздатне велике децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" все ще перебуває на ранній стадії експериментального дослідження.

Федеративне навчання як перехідна форма між розподіленістю та децентралізацією підкреслює локальне збереження даних, централізовану агрегацію параметрів моделі та підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та можливості місцевої координації, одночасно маючи переваги розподілених даних для децентралізованого навчання, але все ще залежить від надійного координатора і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де задачі навчання, структура довіри та комунікаційні механізми є відносно м'якими, що робить його більш придатним як перехідну архітектуру для промисловості.

Децентралізація тренувань: межі, можливості та реальні шляхи

З точки зору навчальної парадигми, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надвисокі вимоги до ресурсів або великі труднощі співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподілення та синхронізацію в відкритих мережах; завдання, які підпадають під сильні обмеження конфіденційності даних і суверенітету, обмежені правовими нормами та етичними обмеженнями, що не дозволяє їх відкритого обміну; а завдання, які не мають основи для співпраці, відчувають брак зовнішніх стимулів для участі. Ці межі разом становлять реальні обмеження сучасного децентралізованого навчання.

Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань з легкою структурою, які легко паралелізуються та можуть бути стимульовані, децентралізоване навчання демонструє чіткі перспективи застосування. До них належать, але не обмежуються: LoRA-фінансування, завдання після навчання з поведінковою адаптацією, краудсорсинг навчання та маркування даних, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх надзвичайно придатними для кооперативного навчання через P2P-мережі, протокол Swarm, розподілені оптимізатори та інші методи.

Децентралізація тренувальних класичних проектів аналіз

На сьогодні в області децентралізованого навчання та федеративного навчання представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували чимало оригінальних досліджень у системній архітектурі та проектуванні алгоритмів, представляючи передові напрями теоретичних досліджень; тоді як у Gensyn та Flock.io шляхи реалізації відносно ясні, вже видно попередній інженерний прогрес.

Prime Intellect: тренувальна траєкторія може бути підтверджена посиленим навчанням кооперативної мережі піонерів

Prime Intellect прагне створити мережу тренування ШІ, яка не вимагає довіри, дозволяючи кожному брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом заохочення за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.

Структура стеку протоколу Prime Intellect та цінність ключових модулів

1. PRIME-RL: архітектура завдань асинхронного посиленого навчання з декомпозованою структурою

PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим Prime Intellect для децентралізованих навчальних сцен, створеним для гетерогенних мереж та асинхронної участі. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно розв'язуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання під наглядом, PRIME-RL краще підходить для реалізації еластичного навчання в умовах безцентрового управління, що знижує складність системи та закладає основу для підтримки паралельного виконання багатьох завдань та еволюції стратегій.

2. TOPLOC: легкий механізм верифікації поведінки тренування

TOPLOC є механізмом основної перевірки, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повторний розрахунок всієї моделі, а здійснює перевірку легковажної структури, аналізуючи локальну узгодженість траєкторій між "послідовністю спостережень↔оновленням стратегії". Він вперше перетворює траєкторії поведінки під час навчання на об'єкти, що підлягають перевірці, що є ключовою інновацією для реалізації розподілу навчальних винагород без довіри, що забезпечує можливий шлях для створення аудиторських, стимулюючих мереж децентралізованого співпраці.

3. SHARDCAST: асинхронний протокол агрегації та розповсюдження ваг

SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для реальних мережевих середовищ з асинхронними, обмеженими пропускними здатностями та змінюваним станом вузлів. Він поєднує механізм gossip-поширення з локальною синхронізацією, дозволяючи кільком вузлам безперервно подавати часткові оновлення в умовах різних станів синхронізації, реалізуючи поступову конвергенцію ваг та еволюцію кількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно покращує масштабованість та відмовостійкість децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.

4. OpenDiLoCo:Рідкісна асинхронна комунікаційна структура

OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом оптимізаційної комунікаційної рамки, розробленою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення проблем, які часто виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Його архітектура заснована на паралельній обробці даних, шляхом побудови розріджених топологічних структур, таких як кільця, розширювачі, малосвітові мережі, що дозволяє уникнути високих витрат на комунікацію глобальної синхронізації, покладаючись лише на сусідні локальні вузли для спільного навчання моделі. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та краєвим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному спільному навчанні, є однією з ключових комунікаційних інфраструктур для побудови децентралізованих навчальних мереж.

5. PCCL: Бібліотека спільних комунікацій

PCCL є легким комунікаційним бібліотекою, розробленою Prime Intellect для децентралізованого AI навчального середовища, яка має на меті вирішити адаптаційні вузькі місця традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "останню милю" комунікаційної інфраструктури для побудови справжньої відкритої, бездослідної мережі спільного навчання.

Prime Intellect стимулююча мережа та рольове розподілення

Prime Intellect побудував мережу тренувань без дозволів, що підлягає перевірці та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:

• Ініціатор завдання: визначення середовища навчання, початкової моделі, функції винагороди та стандартів валідації
• Тренувальний вузол: виконати локальне тренування, подати оновлення ваг та спостереження
• Вузли верифікації: використання механізму TOPLOC для перевірки правдивості навчальної поведінки та участь у розрахунку винагороди та агрегації стратегій

Ядро процесу угоди включає публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг та виплату винагород, що створює замкнене коло заохочення, зосереджене на "реальних навчальних діях".

INTELLECT-2:Перший перевіряємий децентралізований тренувальний модель випущено

Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель посилення, навчена за допомогою асинхронних, бездокументних децентралізованих вузлів. Розмір параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, час навчання перевищує 400 годин, що демонструє життєздатність та стабільність асинхронної мережі співпраці. Ця модель не лише є проривом у продуктивності, а й вперше системно реалізує парадигму "навчання — це консенсус", запропоновану Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує перше досягнення відкритості, перевірності та