AI領域羣魔亂舞：一國一模畝產十萬斤

上個月，AI業界掀起了一場"動物之爭"。

一方是Llama，因其開源特性深受開發者喜愛。日本電氣公司研究了Llama論文和代碼後，迅速開發出日語版ChatGPT，解決了日本在AI領域的瓶頸問題。

另一方是名爲Falcon的大模型。今年5月，Falcon-40B問世，超越Llama登頂"開源LLM排行榜"。該榜單由開源模型社區制作，提供了評估LLM能力的標準。排行榜上基本是Llama和Falcon輪流佔據榜首。

Llama 2推出後，Llama家族一度反超；但9月初，Falcon推出180B版本，再次獲得更高排名。

有趣的是，Falcon的開發者並非科技公司，而是阿聯酋首都的一家科技創新研究所。政府人士表示，他們參與這個領域是爲了顛覆核心玩家。

180B版本發布次日，阿聯酋人工智能部長入選《時代周刊》評選的"AI領域最具影響力的100人"；與他一同入選的還有"AI教父"辛頓、OpenAI的阿爾特曼等人。

如今，AI領域已進入百家爭鳴階段：有實力的國家和企業都在打造自己的大語言模型。僅在海灣地區，就不止一個參與者。8月，沙特爲國內大學購買了3000多塊H100芯片，用於訓練LLM。

有投資人曾吐槽："當年看不起互聯網的商業模式創新，覺得沒有壁壘：百團大戰、百車大戰、百播大戰；沒想到硬科技大模型創業，依然是百模大戰..."

本應高門檻的硬科技，怎麼變成了人人都能參與的領域？

Transformer吞噬世界

無論是美國初創公司、中國科技巨頭，還是中東石油大亨，他們能夠投身大模型領域，都要感謝那篇著名的論文：《Attention Is All You Need》。

2017年，8位計算機科學家在這篇論文中公開了Transformer算法。這篇論文目前是AI歷史上被引用第三多的論文，Transformer的出現引發了此輪AI熱潮。

當前所有大模型，包括轟動世界的GPT系列，都建立在Transformer的基礎之上。

在此之前，"教機器讀書"一直是公認的學術難題。與圖像識別不同，人類閱讀時不僅關注當前詞句，還會結合上下文理解。

早期神經網路的輸入彼此獨立，無法理解長文本甚至整篇文章，因此常出現一些荒謬的翻譯結果。

2014年，谷歌的科學家伊利亞首次取得突破。他使用循環神經網路(RNN)處理自然語言，使谷歌翻譯的性能大幅提升。

RNN提出了"循環設計"，讓每個神經元既接受當前輸入，也接受上一時刻的輸入，從而具備了"結合上下文"的能力。

RNN的出現激發了學術界的研究熱情，Transformer的論文作者沙澤爾也曾深入研究。然而開發者們很快發現RNN存在嚴重缺陷：

該算法使用順序計算，雖然解決了上下文問題，但運行效率低下，難以處理大量參數。

RNN的繁瑣設計很快讓沙澤爾感到厭煩。因此從2015年開始，沙澤爾和7位同好着手開發RNN的替代品，其成果就是Transformer。

相比RNN，Transformer有兩大革新：

一是用位置編碼替代了RNN的循環設計，實現了並行計算，大大提升了訓練效率，使其能夠處理大數據，將AI推向大模型時代；二是進一步增強了理解上下文的能力。

Transformer一舉解決了多個缺陷，逐漸成爲NLP領域的主流方案，有"天不生Transformer，NLP萬古如長夜"之感。連伊利亞都放棄了自己開創的RNN，轉而支持Transformer。

換言之，Transformer是當今所有大模型的基石，它將大模型從理論研究轉變爲純工程問題。

2019年，OpenAI基於Transformer開發出GPT-2，震驚了學術界。作爲回應，谷歌迅速推出了性能更強的AI，名爲Meena。

與GPT-2相比，Meena並無算法突破，僅是增加了8.5倍的訓練參數和14倍的算力。Transformer論文作者沙澤爾對這種"暴力堆砌"方式深感震撼，隨即寫了篇"Meena吞噬世界"的備忘錄。

Transformer的問世，使學術界的底層算法創新速度大幅放緩。數據工程、算力規模、模型架構等工程要素，逐漸成爲AI競賽的關鍵，只要有一定技術能力的科技公司都能開發出大模型。

因此，計算機科學家吳恩達在斯坦福大學演講時提出："AI是一系列工具的集合，包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。這些都是通用技術，類似於電力和互聯網等其他通用技術。"

雖然OpenAI仍是LLM的領跑者，但半導體分析機構Semi Analysis認爲，GPT-4的競爭力主要來自工程解決方案——如果開源，任何競爭對手都能迅速復制。

該分析師預計，其他大型科技公司可能很快就能開發出與GPT-4性能相當的大模型。

建在玻璃上的護城河

如今，"百模大戰"已不再是一種比喻，而是客觀現實。

相關報告顯示，截至今年7月，國內大模型數量已達130個，超過美國的114個，實現了彎道超車，各種神話傳說幾乎不夠國內科技公司命名的了。

在中美之外，許多較富裕國家也基本實現了"一國一模"：除了日本與阿聯酋，還有印度政府主導的大模型Bhashini、韓國互聯網公司Naver打造的HyperClova X等。

這種場景，讓人想起了那個泡沫滿天飛、"鈔能力"決定一切的互聯網拓荒時代。

正如前文所述，Transformer使大模型變成了純工程問題，只要有人才、資金和硬件，剩下的就交給參數。但入場門檻的降低並不意味着人人都能成爲AI時代的巨頭。

開頭提到的"動物之爭"就是個典型案例：盡管Falcon在排名上超越了Llama，但很難說對Meta造成了多大影響。

衆所周知，企業開源自身的科研成果，既是爲了與社會分享科技成果，也希望能激發羣衆智慧。隨着各大學教授、研究機構、中小企業不斷使用、改進Llama，Meta可以將這些成果應用於自己的產品中。

對開源大模型而言，活躍的開發者社區才是其核心競爭力。

早在2015年組建AI實驗室時，Meta就確立了開源的基本方針；扎克伯格憑藉社交媒體起家，更懂得"維護羣衆關係"的重要性。

比如在10月，Meta專門舉辦了一個"AI版創作者激勵"活動：使用Llama 2解決教育、環境等社會問題的開發者，有機會獲得50萬美元的資助。

如今，Meta的Llama系列已成爲開源LLM的風向標。

截至10月初，某開源LLM排行榜Top 10中，有8個都是基於Llama 2開發的，均使用了其開源協議。僅在該平台上，使用Llama 2開源協議的LLM已超過1500個。

當然，像Falcon那樣提升性能也未嘗不可，但目前市面上大多數LLM與GPT-4仍有明顯差距。

例如前不久，GPT-4以4.41分的成績在AgentBench測試中排名第一。AgentBench是由清華大學與俄亥俄州立大學、加州大學伯克利分校共同推出的標準，用於評估LLM在多維度開放式生成環境中的推理能力和決策能力，測試內容包括操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示，第二名的Claude只有2.77分，差距仍然明顯。至於那些聲勢浩大的開源LLM，其測試成績多在1分左右，還不到GPT-4的四分之一。

要知道，GPT-4發布於今年3月，這還是全球同行追趕了大半年後的成績。而造成這種差距的，是OpenAI高水平的科學家團隊與長期研究LLM積累的經驗，因此能始終保持領先地位。

換句話說，大模型的核心能力並非參數，而是生態建設（開源）或純粹的推理能力（閉源）。

隨着開源社區日益活躍，各個LLM的性能可能會趨同，因爲大家都在使用相似的模型架構與數據集。

另一個更直觀的問題是：除了Midjourney，似乎還沒有哪個大模型能實現盈利。

價值的錨點

今年8月，一篇題爲"OpenAI可能會於2024年底破產"的文章引起了不少關注。文章主旨幾乎可以用一句話概括：OpenAI的燒錢速度太快了。

文中提到，自開發ChatGPT以來，OpenAI的虧損正在迅速擴大，僅2022年就虧損約5.4億美元，只能等待微軟投資人買單。

文章標題雖然聳人聽聞，卻也道出了衆多大模型提供商的現狀：成本與收入嚴重失衡。

過高的成本導致目前依靠人工智能賺大錢的只有英偉達，頂多再加上博通。

據諮詢公司Omdia估計，英偉達在今年二季度售出了超30萬塊H100。這是一款AI芯片，訓練AI的效率極高，全球的科技公司、科研機構都在爭相購買。如果將售出的這30萬塊H100疊在一起，其重量相當於4.5架波音747飛機。

英偉達的業績也隨之飆升，同比營收增長854%，令華爾街大爲震驚。值得一提的是，目前H100在二手市場的價格已被炒到4-5萬美元，而其物料成本僅約3000美元。

高昂的算力成本已在某種程度上成爲行業發展的阻力。紅杉資本曾做過一項估算：全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設；相比之下，大模型每年最多只能產生750億美元的收入，中間存在至少1250億美元的缺口。

此外，除了Midjourney等少數例外，大多數軟件公司在付出巨大成本後，還沒想清楚如何盈利。特別是行業的兩大領軍者——微軟和Adobe的表現都有些不盡如人意。

微軟和OpenAI曾合作開發了一個AI代碼生成工具GitHub Copilot，雖然每月收取10美元會費，但由於設施成本，微軟反而要虧損20美元，重度用戶甚至能讓微軟每月虧損80美元。據此推測，定價30美元的Microsoft 365 Copilot，可能虧損更多。

同樣，剛推出Firefly AI工具的Adobe也迅速引入了一個配套的積分系統，防止用戶過度使用導致公司虧損。一旦用戶使用超過每月分配的積分，Adobe就會降低服務速度。

要知道微軟和Adobe已經是業務場景明確，擁有大量現有付費用戶的軟件巨頭。而大多數參數堆積如山的大模型，最主要的應用場景仍然是聊天。

不可否認，如果沒有OpenAI和ChatGPT的橫空出世，這場AI革命可能根本不會發生；但在當前，訓練大模型所帶來的價值恐怕需要打一個問號。

而且，隨着同質化競爭加劇，以及市面上開源模型越來越多，留給單純的大模型供應商的空間可能會更小。

iPhone 4的成功不是因爲45nm制程的A4處理器，而是它可以玩植物大戰僵屍和憤怒的小鳥。