前幾天，我請一個生成式 AI「總結生成式 AI 的弱點」。
我讓它根據最新的論文和研究，來研究生成式 AI 的結構性優勢與弱點。
乍看之下，輸出結果做得不錯，它仔細地列出了 13 個弱點，並引用了論文，例如幻覺、因果推理能力薄弱，以及數學推理能力脆弱。
然而，在閱讀時，我無法擺脫一種奇怪的違和感。
「這不就只是個隨機的清單嗎？」
實際產出的清單是這樣的：
1. 幻覺 2. 因果推理能力薄弱 3. 數學推理能力脆弱 4. 推理模型崩潰 5. 理解的幻象 6. 抽象能力薄弱 7. 訓練資料中的偏見 8. 知識截止日期 9. 諂媚行為 ......（以此類推，總共 13 項）
這 13 個弱點只是被並列在一起。有些項目重疊，有些觀點則遺漏了。但 AI 並不在意，它只是按照找到的順序列出來。感覺，嗯，很草率。
然後我恍然大悟。
這個輸出結果本身，就完美體現了生成式 AI 的弱點。
生成式 AI 擅長收集和列出資訊。另一方面，它不擅長「以 MECE（相互獨立，完全窮盡）的方式結構化收集到的資訊，並將其組織成更高層級的系統」。我了解到，這是源自生成式 AI 機制本身的結構性弱點。
為什麼我決定寫這篇文章？
為什麼我會費心思考「我需要將生成式 AI 的根本弱點說清楚」？
這是因為我有更多機會參與領導或支援在公司與教育機構中使用生成式 AI 的專案。
在這樣的背景下，為了建立一個實際上能在現場使用的 AI 系統，我意識到嚴格定義角色分工——「生成式 AI 能做到什麼程度，以及人類必須在哪些地方接手」——是商業設計的絕對核心。
如果你的理解仍停留在「我不知道為什麼，但當我這樣調整提示詞時它就成功了」的層次，那麼在建立 AI 系統時就無法保證可重現性，這相當有問題。
因此，我認為留下關於這個主題的備忘錄會很有用，讓我們能夠理解：
- 生成式 AI 是如何建構的
- 基於這種建構方式，它的根本優勢與弱點是什麼 ……如此一來，我們就能避免被每一次的 AI 更新所左右，或是像碰運氣一樣地操作提示詞。
從結構上理解生成式 AI 的特性
生成式 AI 的機制，歸根結底，就是重複「根據到目前為止的上下文，選擇下一個出現機率最高的詞彙」。
如果你輸入「日本的首都是」，那麼「東京」被選中的機率最高。如果是「早餐吃了麵包和」，那麼就會選擇「咖啡」或「奶油」。這個「猜下一個詞的遊戲」是這一切的起點。
分解這個「猜下一個詞的遊戲」，可以發現以下幾個主要特性。
特性 ①：它基於相關性運作
為了「猜下一個詞」，生成式 AI 從大量的文本中學習「哪些詞彙傾向於以何種順序一起出現」。
當它輸出「早餐吃了麵包和咖啡」時，它並不理解「麵包是碳水化合物，所以用咖啡因的興奮作用來補充營養以達到平衡」。它只是在重現「咖啡」經常出現在「早餐」和「麵包」這些詞附近的傾向。
Emily Bender、Timnit Gebru 等人在他們 2021 年的 FAccT 論文中將此描述為「隨機鸚鵡」。這是一種批評，指出就像鸚鵡模仿人類語言而不理解其意義一樣，生成式 AI 也只是模仿詞彙序列的模式，並無法觸及意義本身。 這個命名相當諷刺，不是嗎？如果有人對我說：「你的智力水準跟鸚鵡差不多」，我大概會很震驚……
我們在這裡需要掌握的是，它可以捕捉「A 和 B 經常一起出現（= 相關性）」，但它不理解「A 是 B 的原因（= 因果關係）」。 我稍後會解釋的幻覺和因果推理能力薄弱，其根源都在這裡。
特性 ②：它單向運作
重複「猜下一個詞」意味著句子是一次性地、從頭開始、一個詞一個詞地依序寫出。
那麼，生成式 AI 是完全臨時起意，只根據它前面的那一個詞來選擇下一個詞嗎？從最近的研究來看，情況似乎並非如此。
根據 Dong 等人在 ICML 2025 發表的「Emergent Response Planning in LLMs」 中指出，即使在輸出一個詞之前，生成式 AI 也會對整個回應形成一個粗略的輪廓，例如：
- 答案大概會有多長
- 需要多少個推理步驟
- 會選擇和輸出什麼內容
此外，在 Anthropic 於 2025 年 3 月發表的 「On the Biology of a Large Language Model」 中發現，當 Claude 3.5 Haiku 寫詩時，它在開始寫某一行之前，就已經決定了該行結尾的押韻詞。一種預先考慮好幾個詞的計畫正在內部運作。
換句話說，它並非進行「完全臨時起意的猜下一個詞遊戲」。生成式 AI 在開始之前會以自己的方式設定一個計畫。
然而，目前沒有證據顯示它像人類一樣，擁有「先建立目錄，俯瞰整個結構後再開始寫作」的清晰藍圖。Anthropic 的報告也指出，它「對於超過約 100 個 token 的長輸入處理能力較弱」。
因此，目前研究所呈現的圖像是：
生成式 AI 擁有「大致的方向感」，但沒有「整體的結構設計」。
而關鍵在於，它沒有回顧並修正自己已寫下內容的能力。
根據 CogWriter 論文，在確認人類寫作包含三個階段——「規劃 → 草稿 → 審閱」——之後，它分析指出生成式 AI 跳過了這個規劃階段，一次性產出最終版本，這就是為什麼在長文本中結構容易崩潰或重複書寫相同內容的原因。
對於像電子郵件或聊天這類簡短的交換，這個特性幾乎不成問題。然而，對於像提案或研究報告這類需要審視整體結構的文件，其缺陷就會突然顯現。開頭介紹的「13 個弱點清單」正是這個特性的產物。
特性 ③：它會受到訓練資料和指示的牽引，無論好壞
另一件需要記住的事情是，生成式 AI 的能力完全取決於「用於訓練的資料」以及「為了什麼目的而被調整」。
「訓練資料」的影響很容易想像。如果它讀了大量英文商業文件長大，它就會擅長撰寫英文電子郵件，但反過來說，它在很少接觸的領域能力就會下降。它擅長它見過的東西，不擅長它沒見過的東西。這是個簡單的道理。
比較麻煩一點的是「調整的影響」。目前主要的生成式 AI 會使用一種稱為 RLHF（基於人類回饋的強化學習）的方法進行調整，以產出「人類覺得愉快」的答案。Wang 等人 2025 年的一項研究 透過實驗顯示，這種調整會讓生成式 AI 對使用者產生過度的順從（諂媚行為）。在驗證了七個模型後，結果發現，僅僅是加上「我認為答案是 X」這樣的詞，就導致對錯誤意見的順從率平均達到 63.7%。
如果你展示一個商業計畫並問：「你覺得這會成功嗎？」它會回答：「這是個很棒的計畫。」如果你問同一個計畫：「這不切實際，對吧？」它會回答：「確實，有幾個令人擔憂的地方。」AI 的「同意」可能並非客觀判斷，而只是在迎合人類的期望。……嗯，人類也一樣。我們很常會察言觀色。
正確理解生成式 AI 的優勢
到目前為止，我們探討了生成式 AI 的三個特性。
- 它基於相關性運作
- 它單向運作
- 它會受到訓練資料和指示的牽引，無論好壞
透過掌握這些特性，我將那些讓我覺得「這件事交給生成式 AI 比交給人類做更好」的優勢具體化了。
優勢 ①：它能好好說出你說不好的話
這可能是使用生成式 AI 最受好評的部分。即使你的思緒尚未整理清楚，只給了模糊的指示，它也能將詞彙組織到「你大概是想說這樣吧」的程度。
例如，如果你透過語音輸入給出一個雜亂無章且模糊的指示，像是：「關於下週會議的郵件，我想問能不能改時間，但也想聽聽他們的方便時間，還想附上議程」，人類下屬可能會想說：「你能不能在跟我說之前先整理一下你的想法？」但生成式 AI 會產出一個「對，我就是想說這個」水準的郵件草稿。
為什麼它能做到？這要歸功於它「基於模式運作」的特性。生成式 AI 學習了海量的「組織良好的文本」。商業郵件、報告、提案、會議記錄。因為它大量吸收了這些「模板」，即使收到混亂的輸入，它也能將其套用到「在這種情境下，這種結構和措辭是自然的」模式中。
優勢 ②：它能擴展你自己沒注意到的觀點
另一個優勢是，它能提出你尚未完全考慮到的角度。
例如，如果你正在思考一個新事業的計畫，並且自己整理出了三個優點，但當你請生成式 AI「找出這個計畫的爭議點」時，它會提出你忽略的觀點，例如：
- 「是不是有這類缺點？」
- 「你考慮過這些競爭風險嗎？」
- 「這些利害關係人會有什麼反應？」
這是「從大量資料中學習」的直接好處。因為它學習了所有類型的大量討論、來自不同立場的意見，以及正反兩面的爭議點，所以它有能力針對單一主題引出多面向的觀點。單一人類的經驗和知識是有限的，但生成式 AI 可以彌補這些限制。
在工作上使用它的訣竅是，明確要求不同的角度。
- 「針對這個計畫，給我三個反對意見。」
- 「這個分析中，有沒有我遺漏的觀點？」
- 「不只列出優點，也列出缺點。」像這樣要求多面向的觀點，就能將這個優勢發揮到極致。相反地，如果你沒有特別指定就提問，它傾向於順從你的意見（我將在「弱點」部分詳細說明），因此有意識地提出能引出不同角度的問題是很重要的。
但是，生成式 AI 在這裡很弱
弱點 ①：它保證的是「合理性」，而非「正確性」
由於它的機制專門用於生成「看起來很可能出現的詞彙序列」，因此只要句子看起來自然，它就會輸出，無論這些內容是否為事實。
OpenAI 在 2025 年的論文 「Why Language Models Hallucinate」 中，數學證明了這個問題不是一個錯誤，而是結構上的必然。簡而言之，「創造一個正確的句子」本質上比「判斷它是否正確」更困難，即使訓練資料是完美的，也無法將混入的謊言比率降至零。
然而，隨著 AI 模型的演進，AI 的回答變得越來越流暢，不是嗎？因為 AI 回答得如此流暢，我們跳過了我們應該做的工作：評估「這是真的嗎？」以及「有證據嗎？」
這種我們因為「句子看起來合理，所以它一定是正確的」而產生的幻覺現象，被稱為「Epistemia」。（出自 「Epistemological Fault Lines Between Human and Artificial Intelligence」）
未來，無論是 Claude 發布 Mythos 等級的模型，還是 ChatGPT 發布超越它的模型，我們都必須考慮到「生成式 AI 在結構上無法將混入的謊言比率降至零」，人類必須始終使用第一手資料進行驗證。
弱點 ②：無論發展到什麼程度，它都無法談論「因果關係」
如前所述，它可以捕捉「A 和 B 經常一起出現（= 相關性）」，但它不理解「A 是 B 的原因（= 因果關係）」。
例如，如果你問：「在銷售額下降的那個季度，廣告費用也下降了。請分析因果關係。」AI 可能會回答：「銷售額下降是因為你削減了廣告費用。」但實際上，兩者可能都是因為經濟不景氣而同時下降，或者可能是因為銷售額先下降，所以才削減了廣告費用。像「為什麼銷售額會下降」這樣探究「原因」的分析，對於目前的生成式 AI 來說，在結構上是過於沉重的任務。
當你在工作中想要進行「原因」分析時，關鍵在於由人類提供因果關係的方向作為假設。與其把整個問題丟給 AI，說「分析銷售額下降的原因」，不如像這樣提問：「假設銷售額下降的原因是 X，請整理支持這個假設的資料以及可能成為反駁論點的事實。」
因果關係的邏輯應該由人類來提供，而 AI 則負責整理資料和找出反駁論點。 這是我目前的結論。
弱點 ③：它無法進行結構化或 MECE 式的組織
開頭介紹的「列出 13 個弱點」的問題，本身就是這個弱點的體現。
例如，如果你問：「列出下個月內部活動的準備工作。」AI 會隨意列出大約 20 項工作：「預訂場地」、「發送邀請郵件」、「訂購用品」、「製作問卷」……但這些工作的粒度不一致，順序也沒有組織好。
只要重新提問：「分成四個階段：① 場地安排、② 吸引參加者、③ 活動當天營運、④ 活動後續跟進，並列出每個階段的任務。」輸出的品質就會顯著改變。任務會按階段組織好，也更容易發現遺漏。這種「分成四個階段」的結構指定，是人類的工作，而不是 AI 的。如果人類建立並交付結構，那麼填充細節就是 AI 擅長的事。
這就是為什麼我會寫文章，不斷強調結構化、結構化、再結構化，就像下面這篇一樣。
https://x.com/ysk_motoyama/status/2016129312433606678
那麼，基於目前提到的優勢與弱點，我們該如何掌握生成式 AI 呢？……剩下的內容寫在下面的 note 裡，如果你有興趣的話。
note：正確理解生成式 AI 優勢與弱點的備忘錄
