فوضى في مجال الذكاء الاصطناعي: دولة واحدة، نموذج واحد، إنتاج عشرة آلاف جين في الفدان

في الشهر الماضي، أثار قطاع الذكاء الاصطناعي "صراع الحيوانات".

من جهة أخرى، تحظى Llama بشعبية كبيرة بين المطورين نظرًا لخصائصها مفتوحة المصدر. بعد أن درست شركة NEC اليابانية ورقة Llama وكودها، طورت بسرعة إصدارًا باللغة اليابانية من ChatGPT، مما حل مشكلة الاختناق في مجال الذكاء الاصطناعي في اليابان.

الطرف الآخر هو نموذج كبير يسمى Falcon. في مايو من هذا العام، تم إطلاق Falcon-40B، متجاوزًا Llama لتصدر "ترتيب نماذج LLM مفتوحة المصدر". تم إعداد هذه القائمة من قبل مجتمع النماذج المفتوحة المصدر، وتوفر معايير لتقييم قدرات LLM. تتناوب Llama وFalcon في الغالب على قمة الترتيب.

بعد إطلاق Llama 2، تفوقت عائلة Llama لفترة؛ ولكن في أوائل سبتمبر، أطلق Falcon إصدار 180B، محققًا تصنيفًا أعلى مرة أخرى.

من المثير للاهتمام أن مطوري فالكون ليسوا شركة تكنولوجيا، بل هم معهد بحوث الابتكار التكنولوجي في العاصمة الإماراتية. وذكر مسؤولون حكوميون أنهم يشاركون في هذا المجال من أجل تغيير اللاعبين الرئيسيين.

في اليوم التالي لإطلاق الإصدار 180B، تم اختيار وزير الذكاء الاصطناعي في الإمارات ضمن قائمة "أكثر 100 شخص تأثيرًا في مجال الذكاء الاصطناعي" التي أصدرتها مجلة تايم؛ ومن بين الذين تم اختيارهم معه "أب الذكاء الاصطناعي" غيفري هينتون، وآلتمان من OpenAI.

الآن، دخل مجال الذكاء الاصطناعي مرحلة من المنافسة الشديدة: حيث تقوم الدول والشركات القوية ببناء نماذج لغوية كبيرة خاصة بها. فقط في منطقة الخليج، هناك أكثر من مشارك واحد. في أغسطس، اشترت السعودية أكثر من 3000 شريحة H100 للجامعات المحلية، لاستخدامها في تدريب نماذج اللغة الكبيرة.

اشتكى أحد المستثمرين قائلاً: "في ذلك الوقت، كنت أستخف بابتكار نماذج الأعمال عبر الإنترنت، وكنت أعتقد أنها بلا حواجز: معركة المئات من الفرق، ومعركة المئات من السيارات، ومعركة المئات من البث؛ لم أكن أتوقع أن ريادة الأعمال في نموذج التكنولوجيا الصلبة لا تزال معركة المئات من النماذج..."

كيف أصبحت التكنولوجيا الصلبة التي كان يجب أن تكون لها عتبة عالية مجالاً يمكن للجميع المشاركة فيه؟

Transformer يلتهم العالم

سواء كانت شركات ناشئة أمريكية، أو عمالقة التكنولوجيا في الصين، أو أثرياء النفط في الشرق الأوسط، فإن قدرتهم على الانغماس في مجال النماذج الكبيرة تعود إلى تلك الورقة الشهيرة: "كل ما تحتاجه هو الانتباه".

في عام 2017، كشف ثمانية علماء حاسوب في هذه الورقة عن خوارزمية Transformer. هذه الورقة هي حالياً ثالث أكثر ورقة تم الاقتباس منها في تاريخ الذكاء الاصطناعي، وقد أدى ظهور Transformer إلى هذه الجولة من حماس الذكاء الاصطناعي.

تستند جميع النماذج الكبيرة الحالية، بما في ذلك سلسلة GPT التي أثارت ضجة في العالم، على أساس Transformer.

قبل ذلك، كانت "تعليم الآلة القراءة" تُعتبر دائمًا مشكلة أكاديمية معترف بها. على عكس التعرف على الصور، فإن البشر عند القراءة لا يركزون فقط على الكلمات والعبارات الحالية، بل يجمعون أيضًا بين السياق لفهم المعنى.

كانت المدخلات في الشبكات العصبية المبكرة مستقلة عن بعضها البعض، مما جعلها غير قادرة على فهم النصوص الطويلة أو حتى المقالات الكاملة، وبالتالي كانت تظهر بعض النتائج الترجمة السخيفة.

في عام 2014، حقق عالم جوجل إيليا اختراقًا لأول مرة. استخدم الشبكات العصبية التكرارية (RNN) لمعالجة اللغة الطبيعية، مما أدى إلى تحسين كبير في أداء ترجمة جوجل.

قدمت الشبكة العصبية التكرارية "تصميم دائري"، حيث يستقبل كل خلية عصبية كل من الإدخال الحالي وإدخال اللحظة السابقة، مما يمنحها القدرة على "دمج السياق".

أدى ظهور RNN إلى إثارة حماس البحث في الأوساط الأكاديمية، وقد قام كاتب ورقة Transformer شازيل أيضًا بإجراء أبحاث متعمقة. ومع ذلك، اكتشف المطورون بسرعة أن RNN تعاني من عيوب خطيرة:

تستخدم الخوارزمية الحساب التتابعي، على الرغم من أنها تحل مشكلة السياق، إلا أن كفاءتها التشغيلية منخفضة، مما يجعل من الصعب معالجة عدد كبير من المعلمات.

أدى التصميم المعقد لـ RNN بسرعة إلى شعور شازيل بالملل. لذلك، منذ عام 2015، بدأ شازيل وسبعة من زملائه في تطوير بديل لـ RNN، وكانت نتائجه هي Transformer.

بالمقارنة مع RNN ، يتمتع Transformer بإصلاحين رئيسيين:

أولاً، تم استبدال تصميم الحلقة لـ RNN بترميز الموقع، مما حقق حساباً متوازياً وزاد بشكل كبير من كفاءة التدريب، مما جعله قادراً على معالجة البيانات الكبيرة ودفع الذكاء الاصطناعي نحو عصر النماذج الكبيرة؛ ثانياً، تم تعزيز القدرة على فهم السياق بشكل أكبر.

حلّ Transformer العديد من العيوب دفعة واحدة، وأصبح تدريجياً الحل السائد في مجال معالجة اللغة الطبيعية، مما يعطي شعوراً بـ "إذا لم يكن هناك Transformer، فإن معالجة اللغة الطبيعية ستبقى في ظلام دامس إلى الأبد". حتى إليا تخلى عن RNN التي ابتكرها، وبدلاً من ذلك دعم Transformer.

بعبارة أخرى، يعد Transformer حجر الزاوية لجميع النماذج الكبرى اليوم، حيث يحول النماذج الكبرى من البحث النظري إلى مشكلة هندسية بحتة.

في عام 2019، طورت OpenAI GPT-2 استنادًا إلى Transformer، مما صدم الأوساط الأكاديمية. ردًا على ذلك، أطلقت جوجل بسرعة AI أكثر قوة، يسمى Meena.

بالمقارنة مع GPT-2، فإن Meena لا تحتوي على اختراقات خوارزمية، بل زادت فقط 8.5 مرة من معلمات التدريب و14 مرة من القدرة الحسابية. الكاتب لورقة Transformer شازيل كان مدهوشًا من هذه الطريقة "المكدسة عنوة"، لذا كتب مذكرة بعنوان "Meena تلتهم العالم".

أدى ظهور Transformer إلى إبطاء سرعة الابتكار في خوارزميات المستوى الأساسي في الأوساط الأكاديمية بشكل كبير. أصبحت عناصر الهندسة مثل هندسة البيانات، وحجم القوة الحسابية، وهندسة النموذج، تدريجياً هي العناصر الحاسمة في المنافسة في مجال الذكاء الاصطناعي، حيث يمكن لأي شركة تكنولوجيا تمتلك قدرات تقنية معينة تطوير نماذج كبيرة.

لذلك، اقترح عالم الكمبيوتر أندرو نج خلال حديثه في جامعة ستانفورد: "الذكاء الاصطناعي هو مجموعة من الأدوات، بما في ذلك التعلم تحت الإشراف، التعلم بدون إشراف، التعلم المعزز، وأيضًا الذكاء الاصطناعي التوليدي الحالي. كل هذه تقنيات عامة، مشابهة للتقنيات العامة الأخرى مثل الكهرباء والإنترنت."

على الرغم من أن OpenAI لا تزال رائدة في مجال LLM، إلا أن وكالة تحليل أشباه الموصلات Semi Analysis تعتقد أن القدرة التنافسية لـ GPT-4 تأتي بشكل أساسي من الحلول الهندسية - إذا تم فتح المصدر، يمكن لأي منافس نسخها بسرعة.

يتوقع هذا المحلل أن شركات التكنولوجيا الكبرى الأخرى قد تتمكن قريبًا من تطوير نماذج كبيرة تعادل أداء GPT-4.

الخندق المبني على الزجاج

الآن، لم تعد "معركة المئة نموذج" مجرد استعارة، بل أصبحت واقعًا موضوعيًا.

تشير التقارير ذات الصلة إلى أنه بحلول يوليو من هذا العام ، وصل عدد النماذج الكبيرة المحلية إلى 130 ، متجاوزًا 114 في الولايات المتحدة ، مما حقق تقدمًا ملحوظًا ، حيث أن الأساطير والخرافات المختلفة تكاد لا تكفي لتسمية الشركات التكنولوجية المحلية.

بخلاف الصين والولايات المتحدة، حققت العديد من الدول الأكثر ثراءً بشكل أساسي "نموذج دولة واحدة": بالإضافة إلى اليابان والإمارات العربية المتحدة، هناك نموذج Bhashini الذي تقوده الحكومة الهندية، وHyperClova X التي طورتها شركة Naver الكورية.

هذا المشهد يذكرنا بعصر الإنترنت البدائي حيث كانت الفقاعات تتطاير في كل مكان و"قدرة المال" تحدد كل شيء.

كما ذُكر سابقًا، جعلت تقنية Transformer النماذج الكبيرة مسألة هندسية بحتة، طالما أن هناك مواهب، وموارد مالية، وأجهزة، فإن الباقي يُترك للمعلمات. لكن انخفاض عتبة الدخول لا يعني أن الجميع يمكن أن يصبحوا عمالقة في عصر الذكاء الاصطناعي.

القضية التي تم ذكرها في البداية "نزاع الحيوانات" هي حالة نموذجية: على الرغم من أن فالكون قد تجاوز لاما في الترتيب، إلا أنه من الصعب القول إنه أثر على ميتا بشكل كبير.

من المعروف أن الشركات تفتح مصادر إنجازاتها البحثية، ليس فقط لمشاركة نتائج التكنولوجيا مع المجتمع، ولكن أيضًا على أمل تحفيز ذكاء الجماهير. مع استمرار استخدام وتحسين Llama من قبل أساتذة الجامعات ومراكز البحث والشركات الصغيرة والمتوسطة، يمكن لشركة ميتا تطبيق هذه النتائج في منتجاتها.

بالنسبة للنماذج الكبيرة مفتوحة المصدر، فإن مجتمع المطورين النشط هو القوة التنافسية الأساسية لها.

في عام 2015، عندما أسست ميتا مختبر الذكاء الاصطناعي، وضعت السياسة الأساسية للبرمجيات مفتوحة المصدر؛ زوكربيرغ، الذي بدأ من وسائل التواصل الاجتماعي، يفهم أهمية "الحفاظ على علاقات الجمهور".

على سبيل المثال، في أكتوبر، نظمت ميتا حدثًا خاصًا بعنوان "تحفيز المبدعين بنموذج الذكاء الاصطناعي": المطورون الذين يستخدمون Llama 2 لحل المشكلات الاجتماعية مثل التعليم والبيئة لديهم فرصة للحصول على تمويل بقيمة 500,000 دولار.

اليوم ، أصبحت سلسلة Llama من Meta معيارًا للـ LLM مفتوح المصدر.

حتى أوائل أكتوبر، كان هناك 8 من بين أفضل 10 نماذج لغة مفتوحة المصدر في التصنيف تعتمد على Llama 2، وجميعها تستخدم ترخيصها المفتوح. فقط على هذه المنصة، تجاوز عدد نماذج اللغة المفتوحة المصدر التي تستخدم ترخيص Llama 2 1500 نموذج.

بالطبع، يمكن تحسين الأداء مثل Falcon، لكن هناك فجوة واضحة في الوقت الحالي بين معظم نماذج LLM و GPT-4.

على سبيل المثال، في الآونة الأخيرة، حصل GPT-4 على 4.41 نقطة ليحتل المرتبة الأولى في اختبار AgentBench. تم إطلاق AgentBench بالتعاون بين جامعة تسينغhua وجامعة ولاية أوهايو وجامعة كاليفورنيا في بيركلي، وهو معيار يستخدم لتقييم قدرات الاستدلال واتخاذ القرار لـ LLM في بيئات توليد مفتوحة متعددة الأبعاد. تشمل محتويات الاختبار مهام في 8 بيئات مختلفة مثل أنظمة التشغيل، وقواعد البيانات، وخرائط المعرفة، ومعارك البطاقات.

أظهرت نتائج الاختبار أن كلود، الذي جاء في المركز الثاني، حصل على 2.77 نقطة، ولا يزال الفارق واضحًا. أما بالنسبة لتلك النماذج الكبيرة المفتوحة المصدر، فإن نتائج اختباراتهم تتراوح عادة حول 1 نقطة، وهو أقل من ربع نتيجة GPT-4.

من المهم أن نعرف أن GPT-4 تم إصداره في مارس من هذا العام، وهذا هو إنجاز بعد أن لحقت به المنافسة العالمية لأكثر من نصف عام. السبب وراء هذه الفجوة هو فريق العلماء ذوي المستوى العالي في OpenAI والخبرة التي تم اكتسابها من الأبحاث الطويلة حول LLM، مما يسمح لهم بالاستمرار في الحفاظ على موقع الصدارة.

بعبارة أخرى، فإن القدرة الأساسية للنموذج الكبير ليست المعلمات، بل هي بناء النظام البيئي (المصدر المفتوح) أو القدرة على الاستدلال الخالص (المصدر المغلق).

مع تزايد نشاط مجتمع المصدر المفتوح، قد تتقارب أداءات نماذج اللغة الكبيرة (LLM) حيث أن الجميع يستخدم نماذج معمارية ومجموعات بيانات مماثلة.

سؤال آخر أكثر وضوحًا هو: يبدو أنه لا يوجد نموذج كبير آخر يمكنه تحقيق الربح بخلاف Midjourney.

نقاط الارتكاز للقيمة

في أغسطس من هذا العام، أثار مقال بعنوان "من المحتمل أن تعلن OpenAI الإفلاس بحلول نهاية عام 2024" الكثير من الاهتمام. يمكن تلخيص جوهر المقال في جملة واحدة: سرعة إنفاق OpenAI مرتفعة جدًا.

تشير المقالة إلى أنه منذ تطوير ChatGPT، كانت خسائر OpenAI تتسارع بسرعة، حيث خسرت حوالي 540 مليون دولار فقط في عام 2022، ولا بد من الانتظار حتى يدفع المستثمرون من مايكروسوفت الفاتورة.

على الرغم من أن عنوان المقال يثير الجدل، إلا أنه يعكس واقع العديد من مزودي النماذج الكبيرة: التوازن بين التكاليف والإيرادات غير متوازن بشكل خطير.

التكاليف المرتفعة أدت إلى أن الشركات الوحيدة التي تربح الكثير من المال بفضل الذكاء الاصطناعي هي إنفيديا، وربما تضاف إليها بروكوم.

وفقًا لشركة الاستشارات Omdia، تبيع إنفيديا أكثر من 300,000 وحدة من H100 في الربع الثاني من هذا العام. هذه شريحة ذكاء اصطناعي تتميز بكفاءة عالية في تدريب الذكاء الاصطناعي، وتتنافس شركات التكنولوجيا ومؤسسات البحث في جميع أنحاء العالم على شرائها. إذا تم تكديس هذه الوحدات البالغ عددها 300,000، فإن وزنها يعادل 4.5 طائرات بوينغ 747.

تضاعفت عائدات إنفيديا بشكل كبير، حيث زادت الإيرادات بنسبة 854% مقارنة بالعام الماضي، مما أثار دهشة وول ستريت. ومن الجدير بالذكر أن سعر H100 في سوق المستعمل قد ارتفع إلى 40-50 ألف دولار، بينما تبلغ تكلفة المواد حوالي 3000 دولار.

أصبحت تكلفة قوة الحوسبة المرتفعة، إلى حد ما، عقبة أمام تطوير الصناعة. قامت شركة سيكويا كابيتال بتقدير: من المتوقع أن تنفق الشركات التقنية العالمية 200 مليار دولار سنويًا على بناء بنية تحتية للنماذج الكبيرة؛ بالمقارنة، يمكن أن تحقق النماذج الكبيرة في السنة أقصى دخل يبلغ 75 مليار دولار، مما يترك فجوة لا تقل عن 125 مليار دولار.

بالإضافة إلى ذلك، باستثناء عدد قليل من الاستثناءات مثل Midjourney، لم تتمكن معظم شركات البرمجيات من تحديد كيفية تحقيق الأرباح بعد تكبد تكاليف ضخمة. وخاصة أداء رائدي الصناعة الكبيرين - مايكروسوفت وأدوبي - كان غير مرضٍ بعض الشيء.

تعاونت مايكروسوفت وOpenAI في تطوير أداة توليد كود AI تُعرف باسم GitHub Copilot، وعلى الرغم من أن هناك رسوم اشتراك شهرية قدرها 10 دولارات، إلا أن مايكروسوفت قد تتكبد خسائر قدرها 20 دولارًا بسبب تكاليف البنية التحتية، وقد يؤدي الاستخدام المكثف إلى خسائر تصل إلى 80 دولارًا شهريًا. بناءً على ذلك، يُحتمل أن يتكبد Microsoft 365 Copilot، الذي يُسعر بـ 30 دولارًا، خسائر أكبر.

وبالمثل، قدمت شركة أدوبي التي أطلقت للتو أداة Firefly AI، نظام نقاط مرافقة بسرعة لمنع المستخدمين من الاستخدام المفرط الذي قد يؤدي إلى خسائر للشركة. بمجرد أن يتجاوز المستخدم النقاط المخصصة له شهريًا، ستقوم أدوبي بتقليل سرعة الخدمة.

من المهم أن نعرف أن مايكروسوفت وأدوبي هما من عمالقة البرمجيات مع مشهد أعمال واضح ولديهما عدد كبير من المستخدمين المدفوعين الحاليين. بينما لا تزال معظم النماذج الكبيرة المليئة بالمعلمات تطبيقاتها الرئيسية في الدردشة.

لا يمكن إنكار أنه لولا ظهور OpenAI وChatGPT، ربما لم تحدث هذه الثورة في الذكاء الاصطناعي على الإطلاق؛ لكن في الوقت الحالي، يبدو أن القيمة الناتجة عن تدريب النماذج الكبيرة تحتاج إلى علامة استفهام.

علاوة على ذلك، مع تزايد حدة المنافسة المتجانسة، وزيادة عدد النماذج مفتوحة المصدر في السوق، قد يصبح المجال المتاح لموردي النماذج الكبيرة البحتة أصغر.

نجاح iPhone 4 ليس بسبب معالج A4 بتقنية 45nm، ولكن لأنه يمكنه لعب لعبة النباتات ضد الزومبي ولعبة الطيور الغاضبة.