Лихо в сфері ШІ: одна країна, один шаблон, урожайність сто тисяч斤

Минулого місяця в AI-індустрії розгорілася "війна тварин".

З одного боку, є Llama, яка завдяки своїй відкритій архітектурі користується великою популярністю серед розробників. Японська електронна компанія, вивчивши статтю та код Llama, швидко розробила японську версію ChatGPT, що дозволило вирішити проблеми Японії в галузі штучного інтелекту.

Інша сторона - це великий модель з назвою Falcon. У травні цього року з'явився Falcon-40B, який перевершив Llama і посів перше місце в "рейтингу відкритих LLM". Цей рейтинг був складений спільнотою відкритих моделей і надає стандарти для оцінки можливостей LLM. У рейтингу в основному Llama і Falcon чергуються на першому місці.

Після випуску Llama 2 родина Llama деякий час перевершувала; але на початку вересня Falcon випустив версію 180B, знову отримавши вищий рейтинг.

Цікаво, що розробники Falcon не є технологічною компанією, а є дослідницьким інститутом технологічних інновацій в столиці ОАЕ. Представники уряду заявили, що вони беруть участь у цій сфері, щоб підривати основних гравців.

На наступний день після випуску версії 180B міністр штучного інтелекту ОАЕ потрапив до списку "100 найвпливовіших людей у сфері ШІ", складеного журналом Time; разом з ним до списку увійшли такі особи, як "батько штучного інтелекту" Джеффрі Хінтон, Альтман з OpenAI та інші.

Сьогодні сфера ШІ вступила в етап численних суперечок: потужні країни та компанії створюють свої власні великі мовні моделі. Лише в регіоні Перської затоки є не один учасник. У серпні Саудівська Аравія придбала понад 3000 чіпів H100 для навчання LLM для вітчизняних університетів.

Інвестор колись висловив жаль: "Коли я не звертав уваги на інновації в бізнес-моделях Інтернету, вважав, що немає бар'єрів: битва ста компаній, битва ста автомобілів, битва ста трансляцій; не очікував, що стартапи в жорстких технологіях з великими моделями – це все ще битва ста моделей..."

Як технології з високим порогом входу стали сферою, в якій може брати участь кожен?

Transformer поглинає світ

Незалежно від того, чи це американські стартапи, китайські технологічні гіганти чи нафтові магнати з Близького Сходу, вони можуть зануритися у сферу великих моделей завдяки відомій статті: «Увага — це все, що вам потрібно».

У 2017 році 8 комп'ютерних вчених опублікували алгоритм Transformer у цій статті. Ця стаття наразі є третьою за кількістю цитувань в історії ШІ, поява Transformer спровокувала цю хвилю захоплення ШІ.

Всі сучасні великі моделі, включаючи всесвітньо відомі серії GPT, побудовані на основі Transformer.

До цього моменту «навчити машини читати» залишалося визнаною академічною проблемою. На відміну від розпізнавання зображень, під час читання людина звертає увагу не лише на поточні слова та речення, але й комбінує їх з контекстом для розуміння.

Ранні нейронні мережі приймали незалежні вхідні дані, не могли зрозуміти довгі тексти чи навіть цілі статті, тому часто виникали деякі абсурдні результати перекладу.

У 2014 році вчений Google Ілля вперше досяг прориву. Він використав рекурентні нейронні мережі (RNN) для обробки природної мови, що значно покращило продуктивність Google Translate.

RNN запропонував "циклічний дизайн", який дозволяє кожному нейрону приймати як поточний вхід, так і вхід з попереднього моменту, що надає йому здатність "поєднувати контекст".

Поява RNN викликала дослідницький ентузіазм в академічному середовищі, автори статті про Transformer, такі як Шазель, також проводили глибокі дослідження. Однак розробники швидко виявили, що RNN має серйозні недоліки:

Цей алгоритм використовує послідовні обчислення, хоча і вирішує проблеми контексту, але його ефективність роботи низька, що ускладнює обробку великої кількості параметрів.

Складний дизайн RNN швидко набрид Шазелю. Тому з 2015 року Шазель разом із сімома однодумцями почав розробляти альтернативу RNN, результатом якої став Transformer.

В порівнянні з RNN, Transformer має дві великі інновації:

По-перше, позиційне кодування замінило циклічний дизайн RNN, що дозволило реалізувати паралельні обчислення, значно підвищивши ефективність навчання та дозволивши обробляти великі дані, виводячи ШІ в епоху великих моделей; по-друге, ще більше посилено здатність розуміти контекст.

Transformer одним рухом вирішив кілька недоліків, поступово ставши основним рішенням у сфері NLP, викликаючи відчуття, ніби "якщо б не було Transformer, NLP залишався б у темряві вічно". Навіть Ілія відмовився від RNN, які він сам і створив, і перейшов на підтримку Transformer.

Іншими словами, Transformer є основою всіх великих моделей сьогодні, він перетворює великі моделі з теоретичних досліджень на чисто інженерні задачі.

У 2019 році OpenAI на базі Transformer розробила GPT-2, що шокувало академічну спільноту. У відповідь Google швидко випустила більш потужний ШІ під назвою Meena.

У порівнянні з GPT-2, Meena не має алгоритмічних проривів, а лише збільшила кількість навчальних параметрів у 8,5 разів і обчислювальну потужність у 14 разів. Автори статті про Transformer Шазер глибоко вражені таким "грубої накопичення" і відразу написали меморандум "Meena поглинає світ".

Поява Transformer значно уповільнила темпи інновацій у базових алгоритмах академічного середовища. Такі інженерні елементи, як дані, обчислювальні потужності, архітектура моделей тощо, поступово стають ключовими у змаганнях AI, і будь-яка технологічна компанія з певними технічними можливостями може розробити великі моделі.

Отже, комп'ютерний вчений Енді Нг під час виступу в Стенфордському університеті заявив: "ШІ — це набір інструментів, що включає контрольоване навчання, неконтрольоване навчання, навчання з підкріпленням та сучасний генеративний штучний інтелект. Усі ці технології є універсальними, подібно до електрики та Інтернету, які також є універсальними технологіями."

Хоча OpenAI все ще є лідером у сфері LLM, аналітична компанія з напівпровідників Semi Analysis вважає, що конкурентоспроможність GPT-4 переважно походить від інженерних рішень — якщо вони будуть відкритими, будь-який конкурент зможе швидко їх скопіювати.

Цей аналітик очікує, що інші великі технологічні компанії можуть незабаром розробити великі моделі, які за продуктивністю будуть порівнянні з GPT-4.

Копос на склі

Сьогодні "бій ста моделей" вже не є метафорою, а об'єктивною реальністю.

Відповідні звіти показують, що станом на липень цього року в країні було вже 130 великих моделей, перевищивши 114 в США, що дозволило здійснити обхідний маневр, і різних міфів та легенд майже не вистачає, щоб назвати їх усі технологічні компанії країни.

Окрім США та Китаю, багато більш заможних країн також в основному реалізували "одна країна - одна модель": крім Японії та ОАЕ, це також великі моделі, які очолює уряд Індії Bhashini, а також HyperClova X, створений корейською інтернет-компанією Naver.

Ця сцена нагадує про той час, коли інтернет був на піку бульбашки, і "грошова спроможність" вирішувала все.

Як уже згадувалося раніше, Transformer перетворив великі моделі на чисто інженерну задачу: все, що потрібно, це людські ресурси, фінансування та апаратура, а решту можна доручити параметрам. Однак зниження бар'єрів входу не означає, що кожен може стати гігантом епохи ШІ.

Згадуваний на початку "конфлікт тварин" є типовим прикладом: незважаючи на те, що Falcon обійшов Llama в рейтингу, важко сказати, який вплив це мало на Meta.

Відомо, що компанії відкривають свої наукові досягнення, щоб поділитися ними з суспільством, а також сподіваються активізувати розуміння мас. Оскільки професори університетів, дослідницькі інститути та малі й середні підприємства постійно використовують і вдосконалюють Llama, Meta може застосовувати ці досягнення у своїх продуктах.

Для відкритих великих моделей активна спільнота розробників є їхньою основною конкурентною перевагою.

Ще в 2015 році, коли була створена лабораторія штучного інтелекту, Meta визначила основні принципи відкритого коду; Цукерберг, завдяки соціальним мережам, краще розуміє важливість "підтримання громадських зв'язків".

Наприклад, у жовтні Meta спеціально провела захід "AI версія стимулювання творців": розробники, які використовують Llama 2 для вирішення соціальних проблем, таких як освіта та довкілля, мають можливість отримати грант у 500 000 доларів.

Сьогодні серія Llama від Meta стала орієнтиром для відкритих LLM.

Станом на початок жовтня, у топ-10 рейтингу відкритих LLM, 8 з них розроблені на базі Llama 2 і використовують його відкриту ліцензію. Тільки на цій платформі кількість LLM, які використовують відкриту ліцензію Llama 2, вже перевищила 1500.

Звичайно, підвищення продуктивності, як у Falcon, також не було б зайвим, але наразі більшість LLM на ринку все ще має помітний розрив з GPT-4.

Наприклад, нещодавно GPT-4 зайняв перше місце в тестах AgentBench з оцінкою 4.41. AgentBench - це стандарт, спільно розроблений університетом Ціньхуа, Державним університетом Огайо та Університетом Каліфорнії в Берклі, який використовується для оцінки здатності LLM до міркування та прийняття рішень у багатовимірних відкритих генеративних середовищах. Тестування охоплює завдання в 8 різних середовищах, включаючи операційні системи, бази даних, знання графів, карткові баталії тощо.

Результати тестування показали, що друге місце зайняв Claude з 2.77 балами, різниця все ще є суттєвою. Що стосується тих гучних відкритих LLM, то їх результати тестування зазвичай становлять близько 1 балу, що навіть не досягає чверті від GPT-4.

Слід зазначити, що GPT-4 був випущений у березні цього року, і це результат роботи світових колег, які намагалися його наздогнати протягом півроку. Причиною цієї різниці є висококваліфікована команда вчених OpenAI та накопичений досвід тривалих досліджень LLM, що дозволяє їм завжди залишатися в авангарді.

Інакше кажучи, основна здатність великої моделі полягає не в параметрах, а в екосистемному розвитку (відкритий код) або чистій інференційній здатності (закритий код).

Зі зростанням активності відкритих спільнот, продуктивність різних LLM може наближатися одна до одної, оскільки всі використовують подібні архітектури моделей та набори даних.

Інше, більш очевидне питання: крім Midjourney, здається, що жодна велика модель ще не змогла досягти прибутковості.

Якір цінності

У серпні цього року стаття під назвою "OpenAI може збанкрутувати до кінця 2024 року" привернула чимало уваги. Основна ідея статті може бути зведена до одного речення: OpenAI витрачає гроші занадто швидко.

У тексті йдеться про те, що з моменту розробки ChatGPT збитки OpenAI швидко зростають, лише у 2022 році вони склали близько 540 мільйонів доларів, і залишилося тільки чекати, поки інвестори Microsoft покриють витрати.

Хоча заголовок статті звучить гучно, він також відображає реальний стан багатьох постачальників великих моделей: витрати та доходи серйозно не збалансовані.

Завищені витрати призвели до того, що наразі лише NVIDIA заробляє великі гроші на штучному інтелекті, максимум ще й Broadcom.

За оцінками консалтингової компанії Omdia, компанія Nvidia продала понад 300 тисяч чіпів H100 у другому кварталі цього року. Це чіп для штучного інтелекту, який має надзвичайну ефективність у навчанні ШІ, і технологічні компанії та наукові установи по всьому світу змагаються за його придбання. Якщо скласти ці 300 тисяч чіпів H100 один на одного, їх вага буде дорівнювати вазі 4,5 літака Boeing 747.

Виступи компанії NVIDIA також різко зросли, зростання доходів у порівнянні з минулим роком склало 854%, що шокувало Уолл-стріт. Варто зазначити, що наразі ціна H100 на вторинному ринку вже піднялася до 40-50 тисяч доларів, тоді як вартість матеріалів становить лише близько 3000 доларів.

Високі витрати на обчислювальну потужність стали певною мірою перешкодою для розвитку галузі. Венчурна компанія Sequoia Capital проводила оцінку: світові технологічні компанії щорічно витрачатимуть 200 мільярдів доларів на інфраструктуру для великих моделей; у той же час, великі моделі можуть генерувати до 75 мільярдів доларів доходу на рік, що створює принаймні 125 мільярдів доларів дефіциту.

Крім того, за винятком кількох винятків, таких як Midjourney, більшість програмних компаній після великих витрат ще не зрозуміли, як отримати прибуток. Особливо результати двох провідних компаній у галузі — Microsoft та Adobe — залишають бажати кращого.

Microsoft та OpenAI колись співпрацювали над розробкою інструменту генерації коду AI GitHub Copilot, хоча щомісячна плата становить 10 доларів, через витрати на обслуговування Microsoft насправді втратить 20 доларів, а важкі користувачі можуть спричинити збитки для Microsoft до 80 доларів на місяць. З цього можна припустити, що при ціні 30 доларів Microsoft 365 Copilot може зазнавати ще більших втрат.

Також, Adobe, яка тільки що випустила інструмент Firefly AI, швидко запровадила супутню систему балів, щоб запобігти надмірному використанню, що може призвести до збитків компанії. Якщо користувач перевищить щомісячно виділену кількість балів, Adobe знизить швидкість обслуговування.

Слід зазначити, що Microsoft і Adobe вже є величезними програмними гігантами з чітко визначеними бізнес-сценаріями та великою кількістю існуючих платних користувачів. А найбільшою частиною застосування більшості моделей з величезною кількістю параметрів все ще є спілкування.

Безсумнівно, якби не поява OpenAI та ChatGPT, ця революція в AI, можливо, зовсім не відбулася б; але наразі цінність, яку приносить навчання великих моделей, напевно, потребує питання.

Більше того, з посиленням конкуренції через гомогенізацію та зростання кількості відкритих моделей на ринку, простір для простих постачальників великих моделей може стати ще меншим.

Успіх iPhone 4 не в тому, що в ньому використовується процесор A4 з 45нм технологією, а в тому, що на ньому можна грати в рослини проти зомбі та Angry Birds.