AI熱潮下の百模大戦：コンピューティングパワー大きな上昇 利益難求

#AI分野で踊る悪魔:1つの国と1つのモデルがムーあたり100,000匹の猫を生産

先月、AI業界で「動物の争い」が巻き起こりました。

一方はLlamaで、オープンソースの特性から開発者に非常に人気があります。日本電気はLlamaの論文とコードを研究した後、迅速に日本語版ChatGPTを開発し、日本のAI分野のボトルネック問題を解決しました。

もう一方はFalconという名前の大規模モデルです。今年の5月にFalcon-40Bが登場し、Llamaを超えて「オープンソースLLMランキング」の首位に立ちました。このランキングはオープンソースモデルコミュニティによって作成され、LLMの能力を評価する基準を提供しています。ランキングでは基本的にLlamaとFalconが交互に首位を占めています。

Llama 2の発売後、Llamaファミリーは一時逆転しましたが、9月初めにFalconが180Bバージョンを発表し、再びより高いランキングを獲得しました。

興味深いことに、Falconの開発者はテクノロジー企業ではなく、アラブ首長国連邦の首都にあるテクノロジー革新研究所です。政府関係者は、彼らがこの分野に関与しているのは、コアプレイヤーを覆すためだと述べています。

180Bバージョンのリリース翌日、アラブ首長国連邦の人工知能大臣が『タイム』誌の選出した「AI分野で最も影響力のある100人」に選ばれました；彼と共に選ばれたのは「AIの教父」ヒントン、OpenAIのアルトマンなどです。

現在、AI分野は百家争鳴の時代に突入しています：実力のある国や企業がそれぞれの大規模言語モデルを構築しています。湾岸地域だけでも、参加者は一つではありません。8月には、サウジアラビアが国内の大学のために3000枚以上のH100チップを購入し、LLMのトレーニングに使用しました。

ある投資家はこう嘆いていました："当時、インターネットのビジネスモデルの革新を軽視し、バリアがないと思っていました：百団戦、百車戦、百播戦；まさかハードテクノロジーの大規模モデルの起業が、依然として百モデル戦になるとは..."

本来は高いハードテクノロジーの敷居が、なぜ誰もが参加できる分野になったのか？

トランスフォーマーが世界を飲み込む

アメリカのスタートアップ、中国のテクノロジー大手、中東の石油王たちが大規模モデルの分野に参入できるのは、有名な論文《Attention Is All You Need》のおかげです。

2017年、8人のコンピュータ科学者がこの論文でTransformerアルゴリズムを公開しました。この論文は現在、AIの歴史の中で引用回数が3番目に多い論文であり、Transformerの登場はこのAIブームを引き起こしました。

現在のすべての大規模モデルは、世界を驚かせたGPTシリーズを含め、Transformerの基盤の上に構築されています。

これまでのところ、「機械に読書を教えること」は公認の学術的な難題でした。画像認識とは異なり、人間は読書中に現在の単語やフレーズだけでなく、文脈を考慮して理解します。

初期のニューラルネットワークは入力が互いに独立しており、長いテキストや全体の文章を理解することができなかったため、しばしばいくつかの荒唐無稽な翻訳結果が現れました。

2014年、グーグルの科学者イリヤが初めてのブレークスルーを達成しました。彼は循環神経ネットワーク(RNN)を使用して自然言語を処理し、グーグル翻訳の性能を大幅に向上させました。

RNNは「循環設計」を提案し、各ニューロンが現在の入力と前の時刻の入力の両方を受け取ることで、「文脈を結合する」能力を持つようになりました。

RNNの出現は学術界の研究熱情を刺激し、Transformerの論文の著者であるシャザールも深く研究していました。しかし、開発者たちはすぐにRNNに深刻な欠陥があることを発見しました：

このアルゴリズムは順次計算を使用しており、コンテキストの問題を解決しましたが、実行効率が低く、大量のパラメータを処理するのが難しいです。

RNNの煩雑な設計にすぐにシャザールは飽きてしまった。それで2015年から、シャザールと7人の仲間はRNNの代替品の開発に着手し、その成果がTransformerである。

RNNと比較して、Transformerには2つの大きな革新があります：

1つ目は、位置エンコーディングを用いてRNNの循環設計を置き換え、並列計算を実現し、学習効率を大幅に向上させ、大規模データを処理できるようにし、AIを大規模モデルの時代に押し上げました。2つ目は、文脈を理解する能力をさらに強化しました。

Transformerは複数の欠陥を一挙に解決し、徐々にNLP分野の主流のソリューションとなりました。「もしTransformerが生まれなければ、NLPは永遠に暗闇の中にある」という感覚です。イリヤさえも自ら創造したRNNを放棄し、Transformerを支持しています。

言い換えれば、Transformerは今日のすべての大規模モデルの基盤であり、それは大規模モデルを理論研究から純粋なエンジニアリングの問題に変えました。

2019年、OpenAIはTransformerに基づいてGPT-2を開発し、学術界を驚かせました。それに応じて、Googleはより強力なAIであるMeenaを迅速に発表しました。

GPT-2と比較して、Meenaにはアルゴリズムの突破はなく、単に8.5倍のトレーニングパラメータと14倍の計算能力を増加させただけである。Transformer論文の著者であるシャザールは、この"暴力的な積み重ね"の方法に衝撃を受け、すぐに"Meenaが世界を飲み込む"というメモを執筆した。

Transformerの登場により、学術界の基盤となるアルゴリズムの革新速度が大幅に鈍化しました。データエンジニアリング、計算能力の規模、モデルアーキテクチャなどのエンジニアリング要素が、AI競争の鍵となり、一定の技術力を持つテクノロジー企業であれば誰でも大規模モデルを開発できるようになりました。

したがって、コンピュータ科学者のアンドリュー・ングはスタンフォード大学で講演の際に次のように述べました："AIは、教師あり学習、教師なし学習、強化学習、そして現在の生成的人工知能を含むツールの集まりです。これらはすべて汎用技術であり、電力やインターネットなどの他の汎用技術に似ています。"

OpenAIは依然としてLLMのリーダーですが、半導体分析機関Semi Analysisは、GPT-4の競争力は主にエンジニアリングソリューションに由来していると考えています——オープンソース化されれば、どんな競合他社でも迅速にコピーすることが可能です。

このアナリストは、他の大手テクノロジー企業がすぐにGPT-4と同等の性能を持つ大規模モデルを開発できると予想しています。

ガラスの上に建てられた堀

今や、「百模対戦」は比喩ではなく、客観的な現実となっています。

関連報告によると、今年7月時点で国内の大規模モデルの数は130に達し、アメリカの114を超え、カーブを超えて追い越しました。さまざまな神話や伝説は、国内のテクノロジー企業が名付けるにはほとんど足りていません。

中米を除いて、多くの裕福な国々も基本的に「一国一模」を実現しています：日本とアラブ首長国連邦の他に、インド政府が主導する大規模モデルBhashini、韓国のインターネット企業Naverが開発したHyperClova Xなどがあります。

このようなシーンは、バブルが盛り上がり、「キャッシュ能力」がすべてを決定したインターネットの開拓時代を思い出させる。

前述のように、Transformerは大規模モデルを純粋なエンジニアリングの問題に変えました。人材、資金、ハードウェアさえあれば、残りはパラメータにお任せです。しかし、参入障壁の低下は誰もがAI時代の巨頭になれるということを意味するわけではありません。

冒頭で言及された「動物の争い」は典型的な例です：FalconはランキングでLlamaを上回りましたが、Metaにどれほどの影響を与えたかは言い難いです。

広く知られているように、企業が自社の研究成果をオープンソース化するのは、社会と技術的成果を共有するためだけでなく、一般の知恵を刺激することを望んでいるからです。各大学の教授、研究機関、中小企業がLlamaを継続的に使用し改善することで、Metaはこれらの成果を自社の製品に応用することができます。

オープンソースの大規模モデルにとって、活発な開発者コミュニティこそがその核心競争力です。

2015年にAIラボを設立した際、Metaはオープンソースの基本方針を確立しました；ザッカーバーグはソーシャルメディアを起点にしており、「大衆との関係を維持する」重要性をより理解しています。

例えば、10月にMetaは「AI版クリエイターインセンティブ」というイベントを特別に開催しました：Llama 2を使用して教育や環境などの社会問題を解決する開発者は、50万ドルの助成金を得るチャンスがあります。

現在、MetaのLlamaシリーズはオープンソースLLMの風向計となっています。

10月初時点で、あるオープンソースLLMランキングのトップ10の中で、8つがLlama 2を基に開発され、すべてオープンソースライセンスを使用しています。このプラットフォーム上で、Llama 2オープンソースライセンスを使用したLLMは1500を超えています。

もちろん、Falconのようにパフォーマンスを向上させることも悪くはありませんが、現在市場に出回っているほとんどのLLMはGPT-4とまだ明らかなギャップがあります。

例えば、最近、GPT-4は4.41点でAgentBenchテストで1位になりました。AgentBenchは、清華大学とオハイオ州立大学、カリフォルニア大学バークレー校が共同で開発した基準で、LLMの多次元オープン生成環境における推論能力と意思決定能力を評価するためのもので、テスト内容にはオペレーティングシステム、データベース、知識グラフ、カードバトルなど8つの異なる環境のタスクが含まれています。

テスト結果は、2位のClaudeがわずか2.77ポイントであり、差が依然として明らかであることを示しています。派手なオープンソースLLMについては、そのテストスコアは1ポイント前後が多く、GPT-4の4分の1にも満たないです。

知っておくべきは、GPT-4は今年の3月に発表されたということで、これは世界の競合が半年以上追いついた結果です。このギャップを生んでいるのは、OpenAIの高水準な科学者チームと、長年にわたるLLMの研究蓄積の経験です。そのおかげで常に先行しているのです。

言い換えれば、大規模モデルの核心的な能力はパラメータではなく、エコシステムの構築（オープンソース）または純粋な推論能力（クローズドソース）です。

オープンソースコミュニティの活性化に伴い、さまざまなLLMの性能は類似してくる可能性があります。なぜなら、皆が似たようなモデルアーキテクチャとデータセットを使用しているからです。

もう一つの直感的な問題は、Midjourneyを除いて、利益を上げることができる大規模モデルはまだ存在しないようだ。

価値のアンカー

今年8月、一篇題為「OpenAIは2024年末に破産する可能性がある」という記事が多くの注目を集めました。記事の主旨はほぼ一言で要約できます：OpenAIの資金消耗の速度があまりにも早すぎる。

文中では、ChatGPTの開発以来、OpenAIの損失が急速に拡大しており、2022年だけで約5.4億ドルの損失を出しており、Microsoftの投資家が支払うのを待つしかない。

記事のタイトルは耳障りではあるが、多くの大規模モデル提供者の現状を語っている：コストと収入のバランスが深刻に崩れている。

過高なコストのため、現在人工知能で大きな利益を上げているのはNVIDIAだけで、せいぜいBroadcomが加わる程度である。

コンサルティング会社Omdiaによると、NVIDIAは今年の第2四半期に30万枚以上のH100を販売しました。これはAIチップで、AIをトレーニングする効率が非常に高く、世界中のテクノロジー企業や研究機関がこぞって購入しています。販売された30万枚のH100を重ねると、その重さはボーイング747の飛行機4.5機分に相当します。

NVIDIAの業績も急上昇し、前年同期比で収益が854%増加し、ウォール街を驚かせました。特筆すべきは、現在H100の中古市場での価格が4万から5万ドルにまで高騰しており、その材料コストは約3000ドルに過ぎないということです。

高い計算能力コストは、ある程度、業界の成長の障害となっている。セコイア・キャピタルは、グローバルなテクノロジー企業が毎年2000億ドルを大規模モデルのインフラ建設に費やすと予測していると推定した。それに対して、大規模モデルは毎年最大750億ドルの収益しか生み出せず、その間には少なくとも1250億ドルのギャップが存在する。

さらに、Midjourneyなどの少数の例外を除いて、ほとんどのソフトウェア会社は巨額のコストをかけた後、いまだにどのように利益を上げるかを明確に考えていない。特に業界の2大リーダーであるマイクロソフトとAdobeのパフォーマンスは、あまり満足のいくものではない。

マイクロソフトとOpenAIは、AIコード生成ツールであるGitHub Copilotを共同開発しました。月額10ドルの会費があるものの、設備コストのためにマイクロソフトは逆に20ドルの赤字を出しています。ヘビーユーザーは、マイクロソフトが毎月80ドルの赤字を出すことさえあります。これを考慮すると、価格が30ドルのMicrosoft 365 Copilotは、さらに多くの赤字を出す可能性があります。

同様に、新たにFirefly AIツールを発表したAdobeも、ユーザーの過剰使用による会社の損失を防ぐために、関連するポイントシステムを迅速に導入しました。ユーザーが月ごとに割り当てられたポイントを超えて使用した場合、Adobeはサービスの速度を低下させます。

マイクロソフトとAdobeはすでにビジネスシーンが明確で、大量の既存の有料ユーザーを持つソフトウェアの巨人であることを知っておく必要があります。大多数のパラメーターが山のように積み上げられた大規模モデルの主な応用シーンは、依然としてチャットです。

否定できないのは、OpenAIとChatGPTの登場がなければ、このAI革命はそもそも起こらなかった可能性があるということです。しかし、現在、大規模モデルの訓練がもたらす価値には疑問符が付くかもしれません。

さらに、同質化競争が激化し、市場にオープンソースモデルが増えるにつれて、単純な大規模モデルの供給業者に残されるスペースはますます小さくなる可能性があります。

iPhone 4の成功は45nmプロセスのA4プロセッサのおかげではなく、植物対ゾンビやアンガーバードをプレイできるからである。