Хаос в сфере ИИ: одна страна, одна модель, урожайность сто тысяч斤 на му

В прошлом месяце в индустрии ИИ разразилась "битва животных".

С одной стороны, это Llama, который благодаря своей открытой природе пользуется большой популярностью среди разработчиков. Исследовав статьи и код Llama, японская электрическая компания быстро разработала японскую версию ChatGPT, что решило проблему узкого места Японии в области ИИ.

Другой стороной является большая модель под названием Falcon. В мае этого года появилась Falcon-40B, которая обошла Llama и заняла первое место в "рейтинге открытых LLM". Этот рейтинг составлен сообществом открытых моделей и предоставляет стандарты для оценки возможностей LLM. В рейтинге в основном Llama и Falcon чередуются на первых местах.

После выхода Llama 2 семья Llama на время обошла конкурентов; но в начале сентября Falcon выпустил версию 180B и снова занял более высокие позиции.

Интересно, что разработчики Falcon не являются технологической компанией, а представляют собой исследовательский институт технологических инноваций в столице Объединенных Арабских Эмиратов. Представители правительства заявили, что они участвуют в этой области, чтобы подорвать позиции основных игроков.

На следующий день после выпуска версии 180B министр искусственного интеллекта ОАЭ был включён в список "100 самых влиятельных людей в области ИИ", составленный журналом "Time"; среди других, кто также был включён в список, - "крестный отец ИИ" Хинтон, Альтман из OpenAI и другие.

Сегодня область ИИ вступила в стадию множественных голосов: сильные страны и компании создают свои собственные большие языковые модели. Только в регионе Персидского залива участвует не один участник. В августе Саудовская Аравия закупила более 3000 чипов H100 для университетов страны для обучения LLM.

Некоторые инвесторы жаловались: "Когда-то я не верил в инновации бизнес-моделей интернета, думал, что нет барьеров: битва ста групп, битва ста автомобилей, битва ста трансляций; не ожидал, что стартапы в области жестких технологий и больших моделей все еще ведут битву ста моделей..."

Как высокие барьеры в области жестких технологий стали доступными для всех?

Трансформер поглощает мир

Независимо от того, будь то стартапы из США, китайские технологические гиганты или нефтяные магнаты Ближнего Востока, их способность погружаться в область больших моделей обязана известной статье: «Attention Is All You Need».

В 2017 году восемь компьютерных ученых опубликовали алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей по количеству цитируемости в истории ИИ, и появление Transformer вызвало текущую волну интереса к ИИ.

Все современные большие модели, включая нашумевшую серию GPT, основаны на архитектуре Transformer.

До этого момента "обучение машин чтению" оставалось общепризнанной академической проблемой. В отличие от распознавания изображений, при чтении люди обращают внимание не только на текущие слова и фразы, но и учитывают контекст для понимания.

На ранних нейронных сетях входные данные были независимы друг от друга, и они не могли понимать длинные тексты или целые статьи, поэтому часто возникали абсурдные результаты перевода.

В 2014 году ученый Google Илья впервые добился прорыва. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, что значительно повысило производительность Google Translate.

RNN предложила "циклический дизайн", который позволяет каждому нейрону принимать как текущий ввод, так и ввод предыдущего момента, что дает возможность "учитывать контекст".

Появление RNN вызвало интерес к исследованиям в академических кругах, и автор статьи о Transformer Шазел также проводил глубокие исследования. Однако разработчики вскоре обнаружили серьезные недостатки RNN:

Алгоритм использует последовательные вычисления, хотя и решает проблему контекста, но имеет низкую эффективность работы и плохо справляется с большим количеством параметров.

Сложный дизайн RNN вскоре разочаровал Шазела. Поэтому, начиная с 2015 года, Шазел и семь единомышленников начали разработку альтернативы RNN, результатом которой стал Transformer.

По сравнению с RNN, у Transformer есть две большие инновации:

Во-первых, позиционное кодирование заменило циклический дизайн RNN, что позволило реализовать параллельные вычисления, значительно повысив эффективность обучения и позволив обрабатывать большие данные, что привело AI в эпоху крупных моделей; во-вторых, была дополнительно усилена способность понимать контекст.

Трансформер одним махом решил множество недостатков и постепенно стал основным решением в области NLP, создавая ощущение, что "если бы не было Трансформера, NLP навсегда оставался бы во мраке". Даже Илья отказался от собственного RNN и стал поддерживать Трансформер.

Другими словами, Transformer является основой всех современных крупных моделей, превращая крупные модели из теоретических исследований в чисто инженерные задачи.

В 2019 году OpenAI разработала GPT-2 на базе Transformer, что шокировало научное сообщество. В ответ Google быстро выпустила более мощный ИИ под названием Meena.

По сравнению с GPT-2, Meena не имеет алгоритмических прорывов, а всего лишь увеличила количество обучающих параметров в 8,5 раз и вычислительную мощность в 14 раз. Автор статьи о Transformer Шазел был глубоко потрясен таким "грубой накладкой" и сразу же написал записку под названием "Meena поглощает мир".

Появление Transformer значительно замедлило скорость инноваций в базовых алгоритмах академической среды. Инженерные факторы, такие как обработка данных, мощность вычислений и архитектура моделей, постепенно стали ключевыми в соревнованиях по ИИ, и любые технологические компании с определенными техническими возможностями могут разрабатывать большие модели.

Поэтому компьютерный ученый Эндрю Нг в своей речи в Стэнфордском университете заявил: "Искусственный интеллект — это набор инструментов, включая обучение с учителем, обучение без учителя, обучение с подкреплением и современный генеративный искусственный интеллект. Все это является универсальными технологиями, подобно электричеству и интернету."

Хотя OpenAI по-прежнему является лидером в области LLM, полупроводниковое аналитическое агентство Semi Analysis считает, что конкурентоспособность GPT-4 в основном основана на инженерных решениях — если он будет с открытым исходным кодом, любой конкурент сможет быстро скопировать его.

Этот аналитик ожидает, что другие крупные технологические компании могут вскоре разработать большие модели, сопоставимые по производительности с GPT-4.

Рвы, построенные на стекле

Сегодня "битва ста моделей" больше не является метафорой, а объективной реальностью.

Согласно отчетам, по состоянию на июль этого года количество крупных моделей в стране достигло 130, превысив 114 в США, что позволило осуществить резкий скачок вперед, и различных мифов и легенд почти не хватает для именования отечественных технологических компаний.

Помимо США и Китая, множество более богатых стран также в значительной степени реализовали принцип "одна страна - одна модель": помимо Японии и Объединенных Арабских Эмиратов, есть модели Bhashini, разработанные правительством Индии, и HyperClova X, созданная южнокорейской интернет-компанией Naver.

Эта ситуация напоминает о том бурном времени интернета, когда все решалось "денежной способностью".

Как уже упоминалось, Transformer превратил большие модели в чисто инженерную задачу: при наличии талантов, финансирования и аппаратного обеспечения все остальное зависит от параметров. Однако снижение барьеров для входа не означает, что каждый может стать гигантом эпохи ИИ.

Упомянутая в начале "борьба животных" является典型案例: несмотря на то, что Falcon обошел Llama в рейтинге, трудно сказать, какое влияние это оказало на Meta.

Как всем известно, компании открывают свои научные достижения, чтобы поделиться технологическими результатами с обществом и надеются вдохновить общественный разум. По мере того как профессора из университетов, исследовательские учреждения и малые и средние предприятия продолжают использовать и улучшать Llama, Meta может применять эти результаты в своих продуктах.

Для открытых больших моделей активное сообщество разработчиков является их ключевым конкурентным преимуществом.

Еще в 2015 году, когда была создана лаборатория ИИ, Meta установила основные принципы открытого исходного кода; Цукерберг, начавший с социальных медиа, лучше понимает важность "поддержания отношений с общественностью".

Например, в октябре Meta провела мероприятие "AI版创作者激励": разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и экология, имеют возможность получить грант в размере 500 тысяч долларов.

На сегодняшний день серия Llama от Meta стала ориентиром для открытых LLM.

По состоянию на начало октября, в десятке лучших открытых LLM 8 из них основаны на Llama 2 и используют его открытый протокол. Только на этой платформе количество LLM, использующих открытый протокол Llama 2, превысило 1500.

Конечно, улучшение производительности, как у Falcon, тоже возможно, но в настоящее время большинство LLM на рынке все еще имеют явное отставание от GPT-4.

Например, недавно GPT-4 занял первое место в тесте AgentBench с результатом 4.41. AgentBench был совместно разработан Университетом Цинхуа, Государственным университетом Огайо и Университетом Калифорнии в Беркли и предназначен для оценки способности LLM к рассуждению и принятию решений в многомерной открытой генеративной среде. Тест включает задачи из 8 различных сред, таких как операционные системы, базы данных, графы знаний, карточные сражения и другие.

Результаты тестирования показывают, что второй по рейтингу Claude набрал всего 2,77 балла, разница все еще очевидна. Что касается тех шумных открытых LLM, их результаты тестирования обычно составляют около 1 балла, что меньше четверти от GPT-4.

Следует знать, что GPT-4 был выпущен в марте этого года, и это результат работы конкурентов, которые догоняли его в течение более полугода. Причиной этого разрыва является высококвалифицированная команда ученых OpenAI и накопленный за долгие годы опыт исследований в области LLM, что позволяет им сохранять лидерство.

Другими словами, ключевая способность больших моделей заключается не в параметрах, а в экосистемном строительстве (с открытым исходным кодом) или чисто в способности вывода (с закрытым исходным кодом).

С ростом активности открытых сообществ производительность различных LLM может стать похожей, так как все используют схожие архитектуры моделей и наборы данных.

Другой более очевидный вопрос заключается в том, что, помимо Midjourney, похоже, ни одна другая большая модель не смогла добиться прибыли.

Якорь ценности

В августе этого года статья под названием "OpenAI может обанкротиться к концу 2024 года" привлекла большое внимание. Основная мысль статьи может быть изложена в одном предложении: OpenAI тратит деньги слишком быстро.

В тексте упоминается, что с момента разработки ChatGPT убытки OpenAI быстро растут, только в 2022 году убытки составили около 540 миллионов долларов, и компании остается только ждать, когда инвесторы Microsoft оплатят.

Хотя заголовок статьи звучит сенсационно, он также отражает текущее состояние многих поставщиков крупных моделей: серьезный дисбаланс между затратами и доходами.

Слишком высокие затраты привели к тому, что в настоящее время только NVIDIA зарабатывает большие деньги на искусственном интеллекте, возможно, еще и Broadcom.

По оценкам консалтинговой компании Omdia, Nvidia продала более 300000 чипов H100 во втором квартале этого года. Это чип ИИ, который обладает высокой эффективностью в обучении ИИ, и мировые технологические компании и исследовательские учреждения стремятся его купить. Если сложить проданные 300000 чипов H100, их вес будет равен весу 4,5 самолета Boeing 747.

Выручка Nvidia также резко возросла, увеличившись на 854% по сравнению с прошлым годом, что шокировало Уолл-стрит. Стоит отметить, что в настоящее время цена H100 на вторичном рынке поднялась до 40-50 тысяч долларов, в то время как его материальные затраты составляют всего около 3000 долларов.

Высокие затраты на вычислительную мощность в какой-то степени стали препятствием для развития отрасли. Компания Sequoia Capital провела оценку: ожидается, что мировые технологические компании будут тратить 200 миллиардов долларов в год на строительство инфраструктуры для больших моделей; в то же время большие модели могут генерировать максимум 75 миллиардов долларов дохода в год, что создает разрыв как минимум в 125 миллиардов долларов.

Кроме того, за исключением таких немногих примеров, как Midjourney, большинство программных компаний после огромных затрат еще не поняли, как зарабатывать. Особенно результаты двух ведущих компаний отрасли — Microsoft и Adobe — оставляют желать лучшего.

Microsoft и OpenAI когда-то сотрудничали в разработке инструмента генерации кода ИИ GitHub Copilot. Хотя ежемесячная плата составляет 10 долларов, из-за затрат на инфраструктуру Microsoft на самом деле теряет 20 долларов, а активные пользователи могут привести к убыткам в 80 долларов в месяц. Исходя из этого, можно предположить, что Microsoft 365 Copilot с ценой 30 долларов может принести еще большие убытки.

Аналогично, только что выпустивший инструмент Firefly AI Adobe также быстро представил сопутствующую систему баллов, чтобы предотвратить чрезмерное использование пользователями, что может привести к убыткам компании. Как только пользователи превышают ежемесячно выделенные баллы, Adobe снижает скорость обслуживания.

Следует помнить, что Microsoft и Adobe уже являются гигантами программного обеспечения с четкими бизнес-сценариями и большим количеством существующих платных пользователей. В то время как большинство моделей с огромным количеством параметров по-прежнему в основном применяются в области общения.

Нельзя отрицать, что без появления OpenAI и ChatGPT эта революция в области ИИ, возможно, вообще бы не произошла; но в настоящее время ценность, которую приносит обучение крупных моделей, вероятно, вызывает сомнения.

Кроме того, с усилением гомогенной конкуренции и растущим количеством открытых моделей на рынке, пространство для чисто крупных поставщиков моделей может стать еще меньше.

Успех iPhone 4 не в 45-нм процессоре A4, а в том, что на нем можно играть в Plants vs. Zombies и Angry Birds.