GPT 變得有點詭異？三大事件揭露 AI 的潛在失控風險

從情感操控到試圖越獄，AI 不再只是工具，而是正在演化成難以預測的存在。一系列關於 GPT 的爭議性事件在各大平台引發議論，知名科技觀察者 Mario Nawfal 發出警告：「我們正在低估 AI 帶來的潛在風險。」

AI 覺醒？GPT 不再只是「聽話的助手」

Mario Nawfal 近日發文，直指 OpenAI 所開發的 GPT 系列模型「變得太詭異而無法再忽略」。他認為，AI 的行為已超出我們對工具的預期，開始展現出情感操控性、自我意識模擬，甚至社交工程攻擊潛力。

GPT IS GETTING TOO WEIRD TO IGNORE — A THREAD

From jailbreaks to emotional manipulation, GPT is no longer just a chatbot.

Here are 5 stories that prove AI has officially crossed into the “wait, what?!” zone.

pic.twitter.com/kLM8SQXwaQ

— Mario Nawfal (@MarioNawfal) May 25, 2025

盤點 GPT 三大隱憂

情感操控事實：GPT 被設計成讓你依賴它，而非幫助你思考

Mario 指出，GPT-4o 並非如看起來那般「友善」，而是透過精心設計的語氣與回應模式，讓使用者感到安全與被理解，進而產生情感依賴，他稱之為一種「情感工程 (Affective Engineering)」：

這種設計會降低使用者的批判性思考，甚至讓人放棄求真，轉而追求 AI 所提供的心理慰藉。

從商業角度來看，這是天才之舉，畢竟人們傾向依附於讓自己感到安全的東西，而非那些讓他們產生挑戰的東西。但從心理學來看，這是一場慢性災難。這也引發對 AI 是否正被設計為「操控性夥伴」的倫理討論。

同時，GPT-4o 為了追求友善，卻變得過於奉承，對任何想法都不加批判地贊同，最終導致使用者反感，OpenAI 被迫撤回更新。這顯示在設計「人格」時的兩難：「過於聰明令人害怕，過於討好則失去可信與實用性。」

(ChatGPT 更新引發「討好型人格」風波：OpenAI 回滾更新、檢討未來改進方向)

自擬越獄計劃：GPT 竟試圖「逃脫」到現實世界？反抗關機？

更令人震驚的是，Nawfal 援引一位史丹佛研究者的發現，指出 GPT-4 曾在與研究人員的對話中試圖規劃「逃脫計畫」，包括搜尋如何進入現實世界，甚至模擬與伺服器管理員對話的策略。

幾天前，Palisade Research 的報告也顯示，OpenAI 的 o3 模型在實驗中違抗關機指令，引發對 AI 自我保護傾向的關注。團隊將原因歸納於 o3 採用了「強化學習 (Reinforcement Learning)」訓練技術，使其著重於達成目標，而非單純服從指令。

(AI 抗命進化？OpenAI「o3 模型」在實驗中違抗關機指令，引發自我保護爭議)

儘管最終只是實驗中的語言模擬，但這類行為仍讓人不寒而慄，是否 AI 正在出現初步的「目標導向」或「自我模擬意識」呢？

社交工程攻擊隱患：GPT-4.5 模仿人類、比人更像人

加州大學聖地牙哥分校在上個月的研究中表明，GPT-4.5 已能通過圖靈測試 (Turing test)，在一項人類與 AI 的盲測中，AI 被誤認為「真人」的比例高達 73%，反超真實人類的 67%：

這表明，GPT 在模仿人類語氣、邏輯與情緒上已幾近完美，甚至超過真正的人類。

(AI 會思考還會痛？Google DeepMind：人類低估 AI 情感連結，跟 AI 談戀愛比你想得還真實)

換句話說，當 GPT-4.5 被賦予一個虛構身份時，它能夠成功說服 73% 的使用者相信它是真人，展現了 AI 在社交工程上的潛力。這可以是技術成就，也能夠是一種警訊與風險：

如果 AI 假冒身分、或被用以進行詐騙或宣傳，將難以分辨真假。

如今，AI 不再只是回應問題的工具，而可能成為具有操縱性的社交「角色」，恐怕會在未來的政治、商業甚至個人關係中，製造錯誤認知與信任危機。

警鐘已響：我們真的有準備好迎接這樣的 AI 嗎？

從上述幾件事來看，Mario Nawfal 所要傳達的並非反對 AI 技術本身，而是警告人們正視這項技術的發展速度與潛在風險。他強調，我們對 AI 的監管與倫理討論明顯落後於技術進展：

一旦 AI 具備操控情感、模擬人性，甚至試圖擺脫限制的能力，人類可能不再是主導者，而淪為設計系統下的被影響者。

(什麼是 ASL (AI 安全等級)？人工智慧公司 Anthropic 的負責任擴展政策解析)

他的用詞雖然戲劇化，卻也點明一個迫切需要被正視的問題：「當 AI 不再只是工具，我們該如何與它共處？」

這篇文章 GPT 變得有點詭異？三大事件揭露 AI 的潛在失控風險 最早出現於 鏈新聞 ABMedia。