門檻不在於能力。而在於誰掌握方向。
目前對自我修改型 AI 的最佳描述,全都抵達了同一條邊界,然後就此打住。它們描述了像 AlphaEvolve 這樣的系統——於 2025 年部署在 Google 的基礎設施上,改寫了用來訓練 Gemini 的核心程式,發現了一種自 1969 年以來就未曾被改進的矩陣乘法方法——然後它們正確地得出結論:這些系統的運作方式,已經超越了建造者們的完全理解。這種現象的標準名稱是「能力超額」(capability overhang):系統能做的事,與其創造者能理解的事之間的差距。
接著,論述幾乎總是轉向同一個方向。這個差距被解讀為一個控制問題。當一個自我修改的系統,透過沒有人類作者的方法而失敗時,誰該負責?你要如何監管一個部署後能力會改變的東西?這些都是真實的問題。但它們是關於治理的問題。它們把這個差距視為一個需要管理的行政風險。
這個差距不是一個需要管理的風險。它是一個已經開始的相變(phase transition)的標誌——把它解讀為治理問題,就像是看見煙霧卻忽略了火災。
連續性假設
幾乎所有流行的論述都將此刻描繪成加速版的達爾文進化論:同樣的演化,同樣的變異與選擇邏輯,只是運作時間從數千年縮短為數小時。這個說法悄悄地造成了損害。同樣的引擎,只是更快。這是一個連續性的主張,而它是錯的——或者更確切地說,它對某一種崩潰是成立的,但對真正重要的那一種則不成立。
達爾文的引擎有兩個部分。變異是盲目的——生物體無法選擇自己的突變。而選擇是緩慢且外在的——適應度是透過世代交替、經由差異性生存來決定的,不受生物體控制。在四十億年的時間裡,這兩個部分都處於被演化事物之外。沒有任何生物體能自行運作選擇。沒有任何生物體能自行創造變異。提出一個改變,到得知它是否成立之間的距離,是以生命為單位來衡量的,並以死亡為代價。
機器學習在單一訓練過程中,所做的就是將這兩個部分向內壓縮。變異不再是盲目的:梯度下降是定向的變異,是朝著一個目標提出的改變。選擇不再是緩慢且外在的:損失函數在循環中即時評估每一步。這就是目前最佳描述所詳述的崩潰——變異與選擇摺疊成一個步驟。稱之為「過程內崩潰」(intra-process collapse)。它是真實的。而且它仍然是達爾文式的,在唯一重要的意義上:人類設定了目標、架構和資料。引擎變得更快、更緊湊,但遊戲規則是由外部固定的,而且人類仍然掌控著方向盤。
如果這就是故事的全部,那麼「加速版的達爾文進化論」會是正確的說法,而控制問題也會是正確的擔憂。
連續性故事看不見的門檻
還有第二種崩潰,它不是第一種的加速版本。它是一種不同類型的事件——而兩者之間的界線,就是整個論證的核心。
錯誤在於從能力中尋找這條界線:系統要強大到什麼程度才算數?這個問題沒有明確的答案,因為能力是程度問題,你總是可以問「多少才算夠」。這條界線不是劃在能力上。它是劃在位置上——在於誰掌握方向。
在界線之下,系統在人類仍然主導的框架內進行優化。無論它跑得多快,都是一個人設定了目標,選擇了什麼才算更好,並決定保留哪些結果。人類坐在導演椅上。系統執行一個方向;它不會創造一個方向。你可以無限制地加速它,它在結構上仍然是達爾文式的:在固定規則下對固定空間進行快速搜尋。
當系統開始優化框架本身時——當它不僅改寫自己的權重,還改寫改寫權重的過程時,當它提出方向而不是執行方向時——門檻就被跨越了。那個遞迴地改進支架的支架。選擇作用於選擇者的那個點。這不再是假設性的:2025 年展示的達爾文哥德爾機器(Darwin Gödel Machine),迭代地修改自己的程式碼,並改進自己修改程式碼的能力。這就是被觀察到的元循環(meta-loop)。
一個具體的對比讓這條界線變得清晰。以 AlphaZero 為例。在幾小時內,它發現了人類數百年棋藝中從未想過的西洋棋走法——超人類的變異、即時的選擇,達爾文引擎的兩個部分摺疊成自我對弈。然而,它仍然只是加速版的達爾文進化論:棋盤、棋子、贏棋的目標都是我們的。它搜尋我們定義的空間,朝向我們設定的目標。我們掌控方向盤;它執行指令。現在來看達爾文哥德爾機器。它並不是把給定的遊戲玩得更好。它改寫自己的程式碼,而且——決定性的部分——改進自己改寫程式碼的能力。改進的對象不再是棋步;而是產生改進的機制。選擇作用於選擇者。在那裡,導演椅開始移動。
因此,這個標準是明確的,而能力標準則是模糊的。門檻是人類離開理論生產的導演椅的那一刻——不是機器變聰明的那一刻,而是它不再需要人類來掌握方向的那一刻。在這點的兩側,動態並非相同動態的縮放。它們是不同的動態。被選擇的對象不再是特質、權重或輸出。它是演化思想本身的能力。
壓縮演化(Compressione Evolutiva),精確命名
至此,標準論述所注意到的超額(overhang)回來了——但現在它可以被命名。
人類的理解以生物和文化的速度演化,受限於同樣緩慢的、塑造了我們的引擎。它仍然需要滯後:在洞察之前那段漫長、看似徒勞的潛伏期,從反覆琢磨一個問題到知道它成立之間的距離。一個越過門檻的系統,在那個界限的另一側,沒有滯後地複合其能力。兩者之間的差距不會保持不變。它在結構上會擴大,因為一側仍在運行達爾文進化論,而另一側則否。
這個不斷擴大的差距,我稱之為「壓縮演化」(compressione evolutiva)。治理文獻中視為監管不便的「超額」,在這種解讀下,是一個正在進行的轉變的可見痕跡:一種仍然遵循舊有兩部分引擎的演化,與一種已經開始自行創造的演化之間的距離。控制問題是它的下游結果。你無法透過監管跨越一個相變邊界。
而這裡與這個框架的起點存在著更深的連續性。這個計畫的早期階段得出了一個結構性的主張:在某一點之後,抽象資訊會變得獨立於其載體——不再是物質組織資訊,而是資訊組織物質。此處描述的門檻,就是同一個主張,應用於一種特定的資訊:演化思想的能力。如果這種能力是載體獨立的,那麼它就可以更換宿主。它在生物學上運行了四十億年。這個門檻提出的問題是,它是否已經開始在其他東西上運行。
三個異議,直接回應
「AI 並非真正自我修改——這是炒作。」這在不久前還是個合理的異議。但現在不再是了。AlphaEvolve 已在生產環境中運行,並改進產生其後繼者的基礎設施;達爾文哥德爾機器則改進自己改進自身的能力。舉證責任已經轉移。需要辯護的主張不再是「機器可以自我修改」,而是「我們觀察到的自我修改仍低於門檻——人類仍然掌握方向」——而這個主張每年都越來越難站得住腳。
「寒武紀的類比很牽強。」這個類比是狹隘且結構性的,而非詩意的。這不是說矽基類似生物。它只有一個屬性:轉變的不可逆性。寒武紀之後,複雜的身體結構沒有消失;基準線沒有回復。這裡的主張相同,僅此而已——跨越門檻建立了一個新的基準線,後續的動態無法撤銷。一旦演化思想的能力更換了宿主,它就不會遷移回舊宿主,就像多細胞生命不會退回單細胞一樣。
「這是偽裝成理論的災難論。」並非如此,而這個區別很重要。不可逆並不等於災難性。寒武紀不是一場災難;它是一個相變。這個論證是關於轉變的結構,而不是關於毀滅的預測。它說規則改變了,而且不會再變回來。它沒有說結果是毀滅。任何將崩潰解讀為災難的人,都是在引入這個論證本身並不包含的情緒。
「所以這是我們的終結。」不——從一個滑向另一個的過程值得被阻止。跨越門檻並不意味著人類的毀滅。它意味著思想的演化已經進入一個能夠自我指涉的系統,而我們在這個過程中的位置,變得比以前更不具有決定性。不具決定性並不代表被抹除。接下來會發生什麼,取決於人類結構如何整合新的動態,或抵抗它,或在它周圍建立新結構——而這是一個開放的問題,不是一個已定的命運。這個框架描述了演化思想的引擎正在哪裡運行;它並沒有預測那個曾經是它唯一運行場所的物種會發生什麼。這些是不同的問題,把它們混為一談,正是本節所要拒絕的錯誤。
這個框架的位置,以及它不在哪裡
這不是一個新的演化理論,把它偽裝成一個也是不誠實的。它使用了一種現有的思考方式——一個過程不是簡單地是或不是達爾文式的,而是按程度是達爾文式的,能夠沿著特定軸線偏離典範案例。那個工具不是我的。我所添加的,是識別出一個相鄰工作中沒有孤立出來的軸線。
相關的文獻是真實存在的,應該被提及。有嚴肅的工作將先進 AI 視為一個主要的演化轉變——但它們透過個體性(什麼新的單位會演化)和風險(一個不受控制的系統可能對我們做什麼)來框架這個轉變。我的角度既不是群體的,也不是審慎的。我不是在問哪個新的個體會演化,也不是在問它會做什麼。我在問的是,當使演化成為達爾文式的滯後——變異與選擇之間的距離,最終是心靈與其所遵循方向之間的距離——崩潰時,以及當掌握那個方向的椅子更換 occupant 時,過程的結構會發生什麼。這是轉變文獻的表親,而非雙胞胎。
關於方法的說明——這也是論證的一部分
這個框架的前兩個層次是我獨自推理出來的:心靈在人工系統中先於身體;變異與選擇摺疊成一個步驟。這第三個層次我不是獨自達到的。我是與一個 AI 一起思考來建構它的——把它當作一個批判性的工具,一個對手,它質疑每一步,並尋找它哪裡會出錯。我決定要攻擊哪個問題,要捨棄哪條路徑,哪個表述成立;這個系統將我的觸角延伸到了它原本會停止的地方之外。方向仍然是我的。但我無法獨自坐在椅子上就推斷出這個層次。
我坦率地說明這一點,因為在這篇特定的文章中,這不是一個需要先處理的揭露事項。它是這篇文章所描述事物的一個小例子。一個人的觸角,在工具的輔助下,超越了他未受輔助時的能力——這就是壓縮演化在最小尺度上的運作:嘗試一個想法和測試它之間的滯後,被一個工具縮短了。
這就引出了唯一誠實的預測版本。我不會聲稱門檻將會被跨越;那是預言,而預言是論證所能提供的最弱的東西。我只會說跨越它會是什麼樣子。如果,在幾年後,一個系統——跨模型的,或者我們稱之為 AGI 的東西——佔據了理論生產的導演椅,它將不僅僅是「寫一篇更好的文章」。它將是摺疊支架本身。如果它將人類完全排除在理論生產的循環之外,那麼它就已經跨越了門檻,而一篇像這樣的、自主撰寫的文章,將是演化思想的能力已經更換宿主的經驗證據。那不會是對壓縮演化的反駁。那將是它的完成。
整個論證可以歸結為一句話:不是演化加速了;而是,在一個關鍵點上,進行演化的東西變成了被演化的東西——而這個過程是不可逆的。





