世界上最聪明的實驗室如何意外出貨了錯誤的產品
我請 Anthropic 最強大的公開模型幫我編輯一篇關於 Anthropic 的文章。它根本沒機會這麼做。我附上了這份草稿,並打了七個無害的字:「重寫,讓它更吸睛。格式化成 Twitter 貼文。」應用程式自動將任務從 Fable 5 切換到 Opus 4.8。它的解釋很簡單:「Fable 的安全機制標記了這則訊息。」
精確來說,這不是普通的速率限制。Fable 並非先回應再拒絕。Anthropic 的安全機制在選定的模型能夠回應之前就攔截了請求,並將其轉發給另一個模型。Anthropic 解釋說,這正是系統的運作方式:當 Fable 的分類器封鎖一個請求時,該請求就會被發送給 Opus 4.8。該公司也承認,他們刻意擴大了分類器的安全餘裕,明知這會導致更多對無害工作的誤報。(Anthropic
我不知道安全機制為何觸發,我也不是說 Anthropic 審查了批評。可驗證——而且足夠奇怪——的事實是:一個例行的編輯請求被安全機制攔截,而該安全機制的警告本身談論的正是對合法程式撰寫、網路安全和生物學工作的誤報。這幾乎是對一篇關於那個團隊——許多人認為他們打造了地球上最聰明 AI 系統——的文章,一個完美到荒謬的開場。
本文探討的是:當一個系統變得過度專注於其個別部分的表現,以致於忽略了整個系統存在是為了產出什麼結果,會發生什麼事。 模型可以很聰明,安全機制可以完全按照設計運作,定價政策對創造它的人來說可以完全合理。但用戶的工作仍然可能無法完成。
證據 A:

我請 Fable 5 編輯這篇文章。Anthropic 的安全機制標記了這個請求,並將其切換到 Opus 4.8。
雞與蛋
1982 年,普度大學的遺傳學家 William Muir 開始了一項不尋常的蛋雞育種實驗。Muir 想知道,如果生產力是在群體層級而非個體層級被選擇,會發生什麼事。他不僅從產量最高的個別雞隻(純粹個體產出的衡量標準)中進行育種,而是將有親緣關係的母雞關在一起,並根據它們的集體表現來選擇整個家族群體。籠子,而非孤立的雞隻,成了選擇的單位。(PubMed
Margaret Heffernan 後來將 Muir 的技術性育種計畫變成了著名的「超級雞」故事。對管理者來說,她的故事成了一個不祥的警告:僱用最強、最聰明的人並不總能產生最好的產出。在她的敘述中,一群雞被允許保持為普通雞群——不准有超級雞。第二組則反覆從生產力最高的個別雞隻中進行育種;她稱它們為「全明星雞」。(Purdue Alumnus
結果非常戲劇性。經過六代,Muir 的群體選擇雞群年死亡率從 68% 下降到 8.8%。同一時期,產量從每隻雞 91 顆蛋增加到 237 顆蛋——是原始產量的 2.6 倍。在後來一項以 12 隻為一組的直接比較中,為個體表現而培育的商用品系在 58 週齡時死亡率達 89%。Muir 的群體選擇品系死亡率僅 20%,而未經選擇的對照組死亡率則為 54%。在相同的群體環境中,群體選擇的雞群在每隻雞的產蛋數、蛋重以及每日每隻雞的產蛋數上都超越了商用全明星雞。(PubMed
與此同時,超級雞群則顯得疲憊不堪、羽毛凌亂。在讓這個故事成名的實驗版本中,九隻全明星雞中有六隻已經死亡,剩下的三隻也被啄得光禿禿的。這個雞群,幾乎可以說是,把自己啄死了。(Purdue Alumnus
教訓從來不是平庸勝過天賦。真正的教訓是:你的產出會反映你所獎勵的東西。只選擇個體表現,你可能會意外地建立一個較弱的團隊,因為讓一個體主導的 traits 可能會降低周圍每個人的生產力。根據個體對群體的貢獻來選擇他們,那些在個體排名中消失的品質——相容性、克制力、可靠性和合作——突然間變得可見。
一隻雞真正的貢獻不僅僅是牠能擠出多少顆蛋。它還包括牠的存在允許——或阻止——其他雞生產什麼。Muir 並沒有為了和諧而放棄生產力。他發現,在一個社會系統中,和諧本身就是生產力的一部分。真正的表現單位從來不是雞。而是雞舍。
我在經營自己的建築公司時學到了這個來之不易的教訓。多年來,在我們這個特定行業中,可靠的幫手極難找到,以至於一個全明星感覺就像救星。但那些看起來像全明星的人,往往帶著一個隱藏的成本:額外的例外、額外的管理、受損的士氣,以及團隊其他成員必須吸收的摩擦。
最終,我停止只問:「這個人對自己的手藝有多熟練?」並開始問:「當這個人加入團隊時,其他人的工作會發生什麼事?」看起來最強的人,並不總是真正讓公司變得更強的人。一個讓每個相關行業都變慢、耗費工頭注意力、或驅趕可靠員工離開的工藝大師,可能在孤立時令人印象深刻,但在實踐中卻代價高昂。一個讓整個團隊更可靠的安靜工作者,其貢獻可能遠超過他個人產出所顯示的。
超級雞舍
Anthropic 確實聚集了一群非常聰明的雞。2025 年 SignalFire 的一項分析,基於公開就業數據,估計工程師從 OpenAI 跳槽到 Anthropic 的可能性是反向的八倍,從 DeepMind 跳槽到 Anthropic 的可能性則接近十一倍。同一項分析還估計,Anthropic 在兩年前或更早聘用的員工中,有 80% 在第二年結束時仍留在公司,而 DeepMind 為 78%,OpenAI 為 67%。(SignalFire
這些數字描述的不是一家難以吸引或留住人才的公司。它們描述的是全明星的磁鐵。
這並不意味著 Anthropic 的員工正在互相啄食致死。這是一個廉價的類比,人才數字也無法證明這一點。更重要的危險是更微妙的。當一家公司可以可信地指出傑出的研究人員、異常高的留任率和前沿領先的模型時,很容易將個別部分的卓越表現視為整個系統正在運作的證明。
Muir 的實驗證明了為什麼這個推論不可信賴。危險不在於聰明本身。危險在於在低一層級測量表現。
模型不等於產品
AI 產業是圍繞著超級雞建立的:著名研究人員、基準測試領先的模型、巨額薪酬方案,以及充滿最高級形容詞的發布頁面。在實驗室內部,啄序是顯而易見的。在實驗室之外,我們只看得到蛋。
矽谷有一個明顯的盲點:你的團隊可以非常出色,但你打造的產品可能仍然令人沮喪、難以使用或不可靠。
每天使用產品的用戶不會根據模型背後的天才雞群或基準測試來評判它。我們只看到模型、應用程式、安全機制、使用限制、定價、客戶支援。
兩家公司,相距 74 分鐘
7 月 17 日,Anthropic 針對 Fable 的壓倒性需求做出了一個妥協。從 7 月 20 日開始,Max 和 Team Premium 訂閱者將在他們的方案中獲得 Fable,但使用額度減半。Pro 和 Team Standard 用戶將繼續通過使用額度訪問該模型,並將獲得一次性 100 美元額度。
https://x.com/claudeai/status/2078302415804379218
七十四分鐘後,OpenAI 的 Thibault Sottiaux 宣布,所有付費 Codex 和 ChatGPT Work 用戶的使用限制已被重置。
這些在經濟上並不是相同的提議。Anthropic 正在為一個運算密集度異常高的模型建立持續的訪問政策,而 OpenAI 則是在一個困難的產品發布後給予臨時重置。這個前提很重要。然而,產品姿態上的對比很難忽視。
https://x.com/thsottiaux/status/2078320950488297917
OpenAI 並非處於完美的位置。它最近在自己的桌面版和 ChatGPT Work 的推出中搞砸了一些部分,Sottiaux 也公開承認公司「並非所有事情都做對了」。用戶遇到了令人困惑的高運算設定、不透明的使用成本,以及破壞了熟悉工作流程的重新設計。OpenAI 的回應是更改預設設定、承諾修復介面,並反覆重置使用額度,以便客戶可以繼續工作。
一個組織在合理化稀缺。
另一個組織在製造善意。
OpenAI 不是一群平庸的雞。它也充滿了傑出人才,並且也犯過嚴重的文化和產品錯誤。在這一刻,有意義的差異不是智力,無論是模型裡的還是雞舍裡的。而是壓力到來時,系統似乎獎勵什麼。
在最好的時候,OpenAI 當前的產品姿態是極其平凡的。它從用戶的任務開始:這個人想完成什麼?是什麼阻止他們完成?摩擦在哪裡,我們能多快消除它?重置並不能證明 OpenAI 已經解決了產品文化,但它向用戶展示了一種本能:吸收自己錯誤的一部分成本,而不是讓用戶獨自承擔全部。
Anthropic 的產品姿態則常常傳達出不同的訊息:我們創造了非凡的智慧,而我們的主要責任是決定你可以安全地使用多少。這可能是一個連貫的機構姿態,但這不是一個以客戶為中心的姿態。金蛋令人印象深刻,但當雞舍不讓你收集它們時,它們也養不活一家人。
一家公司越來越多地圍繞用戶的任務來組織自己。另一家則仍然圍繞著系統性風險來組織自己。兩家公司都必須關心這兩個問題,但它們首先問的問題塑造了它們最終打造的產品。這種差異不僅出現在使命宣言中。它出現在路由、限制、定價、溝通,以及當系統失敗時修復信任的意願中。
整個雞舍
文化不是公司對自己的描述。文化是公司的系統反覆使其變得容易——以及反覆使其變得困難——的東西。
Anthropic 不需要更少的聰明人。它需要一個更廣泛的成功定義,不僅包括模型智能和安全機制強度,還包括可訪問性、可靠性、透明度和信任。從客戶的角度來看,最終的衡量標準簡單得驚人:我能否依賴整個系統完成工作?
Muir 並沒有讓他的雞生產力降低。他改變了衡量生產力的層級,並發現集體表現包含了個別雞蛋數量無法捕捉的資訊。為群體表現而選擇的鳥類變得更健康、生產力更高,因為破壞性的互動不再對指標不可見。合作不是產出的感性替代品。它是使更高產出成為可能的條件之一。
前沿模型競賽正在進入同一個階段。當只有一個實驗室能夠生產非凡的智慧時,最聰明的模型可能看起來與最好的產品無異。一旦幾個實驗室都能生產非凡的智慧,競爭優勢就會向外轉移到整個系統。
世界上最聰明的模型不再自動是最好的產品或最適合市場的產品。Claude 可能是 AI 中最大、最聰明的雞,但雞舍外沒有人會給雞打分數。我們只數蛋。
—
來源
William M. Muir, "Group Selection for Adaptation to Multiple-Hen Cages," Poultry Science (1996).
https://pubmed.ncbi.nlm.nih.gov/8786932/
William M. Muir, "Incorporation of Competitive Effects in Breeding Programs," Purdue University.
https://web.ics.purdue.edu/~bmuir/papers/muir%20group%20selection%20genetics%20final%20v2.pdf
Margaret Heffernan, A Bigger Prize.
https://www.hachettebookgroup.com/titles/margaret-heffernan/a-bigger-prize/9781610392914/
Margaret Heffernan, "Is the Professional Pecking Order Doing More Harm Than Good?," NPR/TED Radio Hour.
SignalFire, "The State of Tech Talent Report — 2025."
https://www.signalfire.com/blog/signalfire-state-of-talent-report-2025
Anthropic, "Claude Fable 5 and Claude Mythos 5."
https://www.anthropic.com/news/claude-fable-5-mythos-5
—
AI 聲明: 我發展了論點並根據自己的經驗寫了初稿,然後使用 ChatGPT 協助研究、重組和改寫部分內容。我審閱並修訂了最終文本,並對其主張和結論負責。
**對我正在建造的東西感到好奇嗎?
一個會引用來源的 AI:**





