الكأس المقدسة للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود في التدريب اللامركزي

في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد، وأعلى حد للتقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلي. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، يحتاج عملية التدريب إلى استثمار مستمر في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "صناعة ثقيلة" حقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث أنماط الهندسة المعمارية، يمكن تصنيف أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يتم مناقشته في هذه المقالة.

التدريب المركز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة عالية الأداء محلية، بدءًا من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعات، وصولًا إلى جميع مكونات إطار التدريب، والتي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. هذه البنية التحتية المتكاملة تعزز من كفاءة مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مثالية لتدريب نماذج كبيرة مثل GPT وGemini، مع توفير مزايا كفاءة عالية، وموارد قابلة للتحكم، ولكن في نفس الوقت تواجه مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الأسلوب السائد لتدريب النماذج الكبيرة الحالية، حيث يتمثل جوهره في تقسيم مهمة تدريب النموذج ثم توزيعها على العديد من الآلات لتنفيذها بالتعاون، وذلك لتجاوز قيود حساب وتخزين الجهاز الواحد. على الرغم من أن لديها خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية تتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الأساليب السائدة:

• التوازي البيانات: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة المعلمات، يجب مطابقة أوزان النموذج
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
• تنفيذ متسلسل على مراحل: زيادة معدل النقل
• توازي التنسور: تقسيم دقيق لحساب المصفوفات، وزيادة درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، على غرار وجود نفس المدير الذي يقود عن بُعد عدة "مكاتب" من الموظفين للتعاون في إنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.

اللامركزية التدريب تمثل مساراً مستقبلياً أكثر انفتاحاً ومقاومةً للرقابة. يتمثل السمة الرئيسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستخدم آليات تحفيز مشفرة لضمان أمان المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

• صعوبة التقطيع والتنوع في الأجهزة: صعوبة تنسيق الأجهزة المتنوعة، وكفاءة تقسيم المهام منخفضة
• عائق كفاءة الاتصال: الاتصال الشبكي غير مستقر، وعائق تزامن التدرج واضح
• نقص التنفيذ الموثوق: نقص في بيئة التنفيذ الموثوق بها، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب.
• نقص التنسيق الموحد: لا يوجد موجه مركزي، توزيع المهام، آلية التراجع عن الأخطاء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل جماعي، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتعلق بهندسة النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن إمكانية "التعاون الفعال + تحفيز الأمانة + النتائج الصحيحة" لا تزال في مرحلة استكشاف النماذج الأولية المبكرة.

التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، ويناسب السيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المراقبة" في سيناريوهات الامتثال للخصوصية، حيث يكون كل من مهام التدريب، وهيكل الثقة، وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.

اللامركزية تدريب الحدود، الفرص والطرق الواقعية

من منظور أنماط التدريب، لا تناسب التدريب اللامركزي جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهام، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنها بشكل طبيعي غير مناسبة للاكتمال بكفاءة بين العقد غير المتجانسة، وغير الموثوقة. على سبيل المثال، غالبًا ما يعتمد تدريب النماذج الكبيرة على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في شبكة مفتوحة؛ المهام التي تتعلق بخصوصية البيانات وقيود السيادة محصورة بسبب الامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما المهام التي تفتقر إلى أساس الحوافز التعاونية تفتقر إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية على التدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام الهيكلية الخفيفة، سهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك، على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب اللاحقة المرتبطة بمحاذاة السلوك، مهام تدريب وتوسيم البيانات من خلال الحشد، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تتميز بشكل عام بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية تحمل القوة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جداً للتدريب التعاوني من خلال شبكات P2P، بروتوكولات Swarm، ومحسنات موزعة.

تحليل مشاريع التدريب الكلاسيكية اللامركزية

تتضمن المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي حالياً كل من Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما طرق التنفيذ لـ Gensyn وFlock.io واضحة نسبياً، ويمكن رؤية تقدم أولي في الهندسة.

Prime Intellect: رائد الشبكات التعاونية في التعلم المعزز القابل للتحقق من مسارات التدريب

تسعى Prime Intellect لبناء شبكة تدريب AI لا تحتاج إلى ثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect في بناء نظام تدريب AI لامركزي قابل للتحقق ومفتوح وآلية تحفيز كاملة من خلال ثلاثة مكونات رئيسية: PRIME-RL + TOPLOC + SHARDCAST.

هيكل بروتوكول Prime Intellect والقيمة الأساسية للوحدات الرئيسية

1. PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المُفكك

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يستخدم التعلم المعزز ككائن تكيفي رئيسي، ويفكك بشكل هيكلي عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضع للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور السياسات.

2. TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن

TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كانت العقدة قد أكملت بالفعل تعلم الاستراتيجية الفعال بناءً على بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يحقق التحقق الهيكلي الخفيف من خلال تحليل مسارات التوافق المحلي بين "سلسلة الملاحظات ↔ تحديث الاستراتيجية". إنه يحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، مما يعد ابتكاراً رئيسياً لتحقيق توزيع المكافآت التدريبية دون الحاجة إلى الثقة، ويقدم مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

3. SHARDCAST: بروتوكول تجميع ونشر الأوزان غير المتزامنة

SHARDCAST هو بروتوكول لنشر وتجميع الأوزان مصمم بواسطة Prime Intellect ، تم تحسينه خصيصًا لبيئات الشبكة الحقيقية التي تتميز باللامركزية وقيود النطاق الترددي وحالة العقد المتغيرة. يجمع بين آلية نشر gossip واستراتيجية التزامن المحلي ، مما يسمح للعديد من العقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة ، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة ، يعزز SHARDCAST بشكل كبير قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي ، وهو الأساس الرئيسي لبناء توافق الأوزان المستقر والتدريب المستمر.

4. OpenDiLoCo: إطار الاتصال غير المتزامن الرفيع

OpenDiLoCo هو إطار تحسين الاتصالات تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجيا متناثرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، حيث يمكن إكمال تدريب النموذج المشترك بالاعتماد فقط على العقد المجاورة المحلية. بالجمع بين التحديثات غير المتزامنة وآلية تحمل نقاط الانقطاع، يتيح OpenDiLoCo لوحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

5. PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل قيود التكيف في المكتبات التقليدية على الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL التوبولوجيا المتناثرة، وضغط التدرج، والتزامن منخفض الدقة واستعادة النقاط، ويمكنه العمل على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يزيد بشكل ملحوظ من تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، ويفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

شبكة Prime Intellect والتحفيز ودور الأدوار

بنيت Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتتمتع بآلية حوافز اقتصادية، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:

• مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

INTELLECT-2:إصدار أول نموذج تدريب قابل للتحقق اللامركزية

أطلق Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج تعلم عميق تم تدريبه بواسطة عقد لامركزية متزامنة وغير موثوقة، مع حجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 من خلال 100+ عقدة GPU غير متجانسة موزعة على ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يمثل هذا النموذج فقط اختراقًا في الأداء، بل هو أيضًا أول تطبيق نظامي لنموذج "التدريب هو توافق الآراء" الذي اقترحه Prime Intellect. يدمج INTELLECT-2 وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يشير إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة انفتاحًا وموثوقية في عملية التدريب.