تطور نماذج تدريب الذكاء الاصطناعي: من السيطرة المركزية إلى ثورة تقنية التعاون اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، تُعتبر عملية تدريب النماذج هي الحلقة الأكثر استهلاكًا للموارد، وأعلى مستوى من التحديات التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية التطبيقات العملية. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستنتاج، تتطلب عملية التدريب استثمارًا مستمرًا للقوة الحاسوبية الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج البنية، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته بشكل رئيسي في هذه المقالة.

يعد التدريب المركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قِبل مؤسسة واحدة داخل مجموعة محلية عالية الأداء، حيث يتم تنسيق جميع مكونات التدريب من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى إطار العمل من خلال نظام تحكم موحد. تجعل هذه البنية المعمارية المتناغمة من مشاركة الذاكرة، وتزامن التدرجات، وآليات تحمل الأخطاء أكثر كفاءة، مما يجعلها مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، ولديها ميزات كفاءة عالية، وتحكم في الموارد، ولكنها تعاني في نفس الوقت من مشاكل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الفردية.

التدريب الموزع هو الطريقة الرئيسية الحالية لتدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود حساب وتخزين الحاسوب الفردي. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة وإدارة مركزية، وغالبًا ما يعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للحافلات السريعة، حيث يتم تنسيق جميع المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الطرق الرئيسية:

• البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في وزن النموذج، تحتاج إلى مطابقة.
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة، لتحقيق قابلية التوسع العالية
• تنفيذ متسلسل على مراحل: تحسين معدل الإرسال
• التوازي التنسوري: تقسيم دقيق لحساب المصفوفات، تحسين درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، يشبه الأمر توجيه نفس المدير لموظفين من عدة "مكاتب" عن بُعد للتعاون في إكمال المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.

يمثل التدريب اللامركزي مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل الخصائص الأساسية له في: عدة نقاط غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، ومن خلال آليات تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:

• صعوبة التنسيق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة عالية في تنسيق الأجهزة المتنوعة وكفاءة منخفضة في تقسيم المهام
• عنق الزجاجة في كفاءة الاتصال: عدم استقرار الاتصال الشبكي، واضح عنق الزجاجة في مزامنة التدرجات
• افتقار إلى التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
• نقص التنسيق الموحد: لا يوجد جهاز تنسيق مركزي، توزيع المهام، آلية التراجع عن الاستثناء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون كل واحد منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل عدة جوانب مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن ما إذا كان يمكن تحقيق "التعاون الفعال + تحفيز الأمانة + النتائج الصحيحة" لا يزال في مرحلة الاستكشاف الأولية.

يعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يؤكد على الاحتفاظ بالبيانات محليًا، وتوحيد معلمات النموذج، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، كما أنه يجمع بين مزايا توزيع البيانات في التدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره "لامركزية خاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث يكون مهام التدريب، وبنية الثقة، وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

جدول المقارنة الشامل لنماذج تدريب الذكاء الاصطناعي( الهيكل الفني × تحفيز الثقة × الميزات التطبيقية)

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من حيث نمط التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب هيكل المهمة المعقد وارتفاع متطلبات الموارد أو صعوبة التعاون، فإنه بشكل طبيعي لا يناسب الإنجاز بكفاءة بين العقد غير المتجانسة واللامركزية. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، زمن استجابة منخفض وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في شبكة مفتوحة؛ كما أن المهام التي تتطلب خصوصية البيانات وقيود السيادة قوية تقتصر على الامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، يظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام الخفيفة الهيكلية، سهلة التوازي، والمحفزة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب ما بعد السلوك، تدريب وتوسيم البيانات من خلال الحشود، تدريب نماذج أساسية صغيرة يمكن التحكم فيها من الموارد، وسيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القوة الحاسوبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات الند للند، بروتوكول Swarm، والمُحسنات الموزعة.

نظرة عامة على ملاءمة مهام التدريب اللامركزية

تحليل مشروع تدريب الكلاسيكيات اللامركزية

في الوقت الحالي، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التقني وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزمية، وتمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تتمتع Gensyn وFlock.io بمسارات تنفيذ واضحة، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة، وستستكشف أيضًا الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: رائد الشبكات التعاونية في التعلم المعزز القابل للتحقق من مسار التدريب

تسعى Prime Intellect إلى بناء شبكة تدريب للذكاء الاصطناعي لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في إنشاء نظام تدريب للذكاء الاصطناعي اللامركزية يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.

1. هيكل واجهة برمجة التطبيقات Prime Intellect والقيمة الأساسية للوحدات الرئيسية

ثانياً، شرح مفصل لآليات التدريب الرئيسية لـ Prime Intellect

PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار عمل مخصص لنمذجة المهام وتنفيذها تم تطويره بواسطة Prime Intellect لمشاهد التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكييف أولوي، ويفصل بشكل هيكلي بين عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع أساسًا لدعم المهام المتعددة المتوازية وتطور الاستراتيجيات.

TOPLOC: آلية التحقق من سلوك التدريب خفيف الوزن

TOPLOC هو آلية جوهرية للتحقق من التدريب قدمها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل من خلال تحليل "سلسلة المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة، يكمل التحقق من البنية الخفيفة. ولأول مرة، يتم تحويل مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهو الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى الثقة، مما يوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع وتوزيع الوزن غير المتزامن

SHARDCAST هو بروتوكول لنشر وتجميع الوزن صممه Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، ووجود قيود على عرض النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء إجماع الوزن المستقر والتدريب المستمر.

OpenDiLoCo: إطار الاتصالات غير المتزامنة النادرة

OpenDiLoCo هو إطار تحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي في البيانات، من خلال بناء بنى هيكلية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي في الاتصالات، ويعتمد فقط على العقد المجاورة المحلية لإكمال تدريب النموذج التعاوني. من خلال الجمع بين التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo أجهزة GPU الاستهلاكية والأجهزة الطرفية قادرة على المشاركة باستقرار في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف بين المكتبات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا النادرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما فتح "آخر كيلومتر" من الأساسيات الاتصالية لبناء شبكة تدريب تعاونية مفتوحة حقًا ولا تحتاج إلى ثقة.

ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار

بني Prime Intellect شبكة تدريب قابلة للتحقق بدون إذن، مزودة بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاثة أنواع من الأدوار الأساسية:

• مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسار، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

أربعة، INTELLECT-2: إصدار أول نموذج تدريب قابل للتحقق اللامركزي

أصدرت Prime Intellect INTELLECT-2 في مايو 2025، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه من خلال تعاون عقد غير موثوق به ولامركزي غير متزامن، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة منتشرة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. هذا النموذج ليس فقط突破ًا في الأداء، ولكنه أيضًا أول تطبيق منهجي لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يتكامل INTELLECT-2 مع PRIME-RL،