Священный Грааль Crypto AI: передовые исследования Децентрализации в обучении

В полной цепочке создания стоимости в ИИ моделирование является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных больших затрат вычислительных ресурсов, сложных процессов обработки данных и поддержки алгоритмов оптимизации высокой интенсивности, что является настоящей "тяжелой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором акцентируется внимание в данной статье.

Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация выполняет весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, базового программного обеспечения, системы управления кластерами до всех компонентов обучающей структуры, которые координируются единой системой управления. Эта система глубокой координации позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT, Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но одновременно сталкивается с проблемами монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.

Распределённое обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в разбиении задач обучения модели на части и их распределении на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически оно обладает "Децентрализация"-характеристиками, в целом оно всё ещё контролируется централизованной организацией для координации и синхронизации, обычно работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink для единой координации подзадач главного узла. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры общего доступа, необходимо сопоставить веса модели
• Модульное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: детальная сегментация матричных вычислений, повышение степени параллелизма

Распределённое обучение является комбинацией "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник дистанционно управляет несколькими "офисами", чтобы сотрудники совместно выполняли задачи. В настоящее время почти все основные большие модели обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми характеристиками являются: несколько недоверяющих друг другу узлов, которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов, обеспечивающих распределение задач и сотрудничество, и с использованием механизмов криптоощущения для обеспечения честности вклада. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и сложности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Бутылочное горлышко в эффективности связи: нестабильная сетевая связь, явное бутылочное горлышко в синхронизации градиентов
• Отсутствие доверенного выполнения: нехватка доверенной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
• Отсутствие единой координации: нет центрального диспетчера, сложные механизмы распределения задач и отката при исключениях

Децентрализация тренировки может быть понята как: группа глобальных добровольцев, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" по-прежнему является системной инженерной задачей, затрагивающей системную архитектуру, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, однако возможность "совместной эффективности + стимулирования честности + правильности результатов" пока находится на стадии раннего прототипирования.

Федеративное обучение, как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров моделей, что делает его подходящим для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными способностями, одновременно обладая преимуществами распределенных данных в Децентрализация, но все же зависит от доверенной координационной стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры развертывания для промышленности.

Децентрализация: границы, возможности и реальные пути тренировки

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, недоверительных узлах. Например, обучение больших моделей обычно зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими нормами и этическими ограничениями, что делает невозможным их открытое совместное использование; а задачи, лишенные базовой мотивации для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.

Но это не означает, что децентрализация обучения является ложным понятием. На самом деле, в задачах с легкой структурой, легкими параллельными вычислениями и возможностью мотивации, децентрализация обучения демонстрирует очевидные перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения для выравнивания поведения, задачами краудсорсинга данных и аннотацией, обучением малых базовых моделей с контролем ресурсов, а также сценарием совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и способностью терпеть гетерогенные вычислительные мощности, что делает их очень подходящими для совместного обучения через P2P-сети, протоколы Swarm, распределенные оптимизаторы и другие способы.

Децентрализация тренировки классических проектов анализа

В настоящее время в области децентрализации обучения и федеративного обучения, представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмопроекта, представляя передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые инженерные достижения.

Prime Intellect: Тренировочная траектория, подлежащая верификации, усиленное обучение, кооперативная сеть, пионер

Prime Intellect стремится создать сеть обучения ИИ без необходимости в доверии, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полноценной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

Структура стеков протокола Prime Intellect и ценность ключевых модулей

1. PRIME-RL: Декуплированная асинхронная архитектура задач обучения с подкреплением

PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных тренировочных сцен, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, позволяя каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL более подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

2. TOPLOC: Легковесный механизм верификации поведения тренировок

TOPLOC - это основная механика верифицируемого обучения, предложенная Prime Intellect, которая используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от громоздких решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он превращает поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым новшеством для реализации распределения вознаграждений за обучение без доверия, обеспечивая осуществимый путь для создания可审计、可激励的 Децентрализация кооперативной обучающей сети.

3. SHARDCAST: Асинхронный протокол агрегации и распространения весов

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные синхронные стратегии, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях асинхронного состояния, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно улучшает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса весов и непрерывной итерации обучения.

4. OpenDiLoCo: Разреженная асинхронная коммуникационная рамка

OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации коммуникаций, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения часто встречающихся проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на глобальную синхронизацию, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в учебных заданиях, значительно увеличивая доступность глобального кооперативного обучения и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных учебных сетей.

5. PCCL: Библиотека совместной связи

PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в условиях гетерогенных устройств и низкоскоростных сетей. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронную связь протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.

Сеть стимулирования Prime Intellect и распределение ролей

Prime Intellect построил обучающую сеть без разрешений, проверяемую и обладающую экономическими стимулами, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определить тренировочную среду, начальную модель, функцию вознаграждения и критерии валидации
• Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
• Узлы проверки: Используйте механизм TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.

Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов, основанный на "реальных тренировочных действиях".

INTELLECT-2: Первый выпущенный проверяемый децентрализованный обучающий модель

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, доверяющих друг другу Децентрализация узлов, с количеством параметров 32B. Модель INTELLECT-2 была обучена с использованием более 100 GPU гетерогенных узлов, расположенных на трех континентах, с полностью асинхронной архитектурой, время обучения составило более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и впервые системно реализует предложенную Prime Intellect парадигму "обучение как консенсус". INTELLECT-2 интегрировала ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первый случай, когда децентрализованная обучающая сеть достигла открытости, проверяемости и.