相比過去比拼算力、算法的資源壟斷式躍進,當市場把重心放到邊緣計算 + 小模型方式時,會帶來更大的市場活力。
撰文:Haotian
麥肯錫的 Lilli 案例爲企業 AI 市場提供了關鍵發展思路:邊緣計算 + 小模型潛在的市場機會。這個整合了 10 萬份內部文檔的 AI 助手,不僅獲得了 70% 員工的採用率,而且平均每週使用 17 次,這種產品粘性在企業工具中實屬罕見。以下,談談我的思考:
1)企業數據安全是痛點:麥肯錫 100 年積累的核心知識資產以及一些中小企業積累的特定數據都有極強數據敏感性,都不是和在公共雲上處理。如何探索一種“數據不出本地,AI 能力不打折”的平衡狀態,就是實際市場剛需。邊緣計算是個探索方向;
2)專業小模型會取代通用大模型:企業用戶需要的不是"百億參數、全能型"的通用模型,而是能精準解答特定領域問題的專業助手。相比之下,大模型的通用性與專業深度之間存在天然矛盾,企業場景下往往更看重小模型;
3)自建 AI infra 和 API 調用的成本平衡:盡管邊緣計算和小模型的組合雖然前期投入較大,但長期運營成本顯著降低。試想若 45000 名員工高頻使用的 AI 大模型來自於 API 調用,這產生的依賴,使用規模和品論的增加都會使得自建 AI infra 成爲大中型企業的理性選擇;
4)邊緣硬件市場的新機會:大模型訓練離不開高端 GPU,但邊緣推理對硬件的要求則完全不同。高通、聯發科等芯片廠商針對邊緣 AI 優化的處理器正迎來市場良機。當每個企業都想打造自己的"Lilli",專爲低功耗、高效率設計的邊緣 AI 芯片將成爲基礎設施的必需品;
5)去中心化 web3 AI 市場也同步增強:一旦企業在小模型上的算力、微調、算法等需求被帶動起來,如何平衡資源調度就會成爲問題,傳統的中心化的資源調度會成爲難題,這直接會給 web3AI 去中心化小模型微調網路,去中心化算力服務平台等等帶來很大的市場需求;
當市場還在討論 AGI 的通用能力邊界時,更喜聞樂見看到很多企業端用戶已經在挖掘 AI 的實用價值。顯然,相比過去比拼算力、算法的資源壟斷式躍進,當市場把重心放到邊緣計算 + 小模型方式時,會帶來更大的市場活力。
237k 帖子
223k 帖子
152k 帖子
80k 帖子
67k 帖子
65k 帖子
61k 帖子
59k 帖子
53k 帖子
51k 帖子
麥肯錫的 Lilli 案例爲企業 AI 市場提供了哪些發展思路?
撰文:Haotian
麥肯錫的 Lilli 案例爲企業 AI 市場提供了關鍵發展思路:邊緣計算 + 小模型潛在的市場機會。這個整合了 10 萬份內部文檔的 AI 助手,不僅獲得了 70% 員工的採用率,而且平均每週使用 17 次,這種產品粘性在企業工具中實屬罕見。以下,談談我的思考:
1)企業數據安全是痛點:麥肯錫 100 年積累的核心知識資產以及一些中小企業積累的特定數據都有極強數據敏感性,都不是和在公共雲上處理。如何探索一種“數據不出本地,AI 能力不打折”的平衡狀態,就是實際市場剛需。邊緣計算是個探索方向;
2)專業小模型會取代通用大模型:企業用戶需要的不是"百億參數、全能型"的通用模型,而是能精準解答特定領域問題的專業助手。相比之下,大模型的通用性與專業深度之間存在天然矛盾,企業場景下往往更看重小模型;
3)自建 AI infra 和 API 調用的成本平衡:盡管邊緣計算和小模型的組合雖然前期投入較大,但長期運營成本顯著降低。試想若 45000 名員工高頻使用的 AI 大模型來自於 API 調用,這產生的依賴,使用規模和品論的增加都會使得自建 AI infra 成爲大中型企業的理性選擇;
4)邊緣硬件市場的新機會:大模型訓練離不開高端 GPU,但邊緣推理對硬件的要求則完全不同。高通、聯發科等芯片廠商針對邊緣 AI 優化的處理器正迎來市場良機。當每個企業都想打造自己的"Lilli",專爲低功耗、高效率設計的邊緣 AI 芯片將成爲基礎設施的必需品;
5)去中心化 web3 AI 市場也同步增強:一旦企業在小模型上的算力、微調、算法等需求被帶動起來,如何平衡資源調度就會成爲問題,傳統的中心化的資源調度會成爲難題,這直接會給 web3AI 去中心化小模型微調網路,去中心化算力服務平台等等帶來很大的市場需求;
當市場還在討論 AGI 的通用能力邊界時,更喜聞樂見看到很多企業端用戶已經在挖掘 AI 的實用價值。顯然,相比過去比拼算力、算法的資源壟斷式躍進,當市場把重心放到邊緣計算 + 小模型方式時,會帶來更大的市場活力。