我最近和女兒一起重讀史蒂芬·利維的《駭客》。利維描述布勞提根 1967 年的詩作〈被慈愛機器的溫柔目光所注視〉是如何啟發 1970 年代加州的「硬體駭客」，以及像 Community Memory 這樣的組織。
到了 2026 年，「被慈愛機器的溫柔目光所注視」這句話，讓人聯想到人類被一個強大且對齊人類價值（「慈愛人類」）的 AI 擁入懷中的景象：一個 AI 式的仁慈獨裁者。確實，達里奧·阿莫迪在他的文章〈machines of loving grace〉中（雖然他承認存在巨大的不確定性），提出未來經濟的其中一種形式可能是圍繞著 AI 系統（對齊人類價值）來組織，由這些系統決定如何「根據 AI 系統認為什麼對人類有獎勵意義的次要經濟學，來將資源分配給人類」。這似乎將 AI 置於父母的位置，控制並照顧其人類子女的物質需求，並決定如何獎勵或懲罰他們。對我來說，這樣的「AI 父母」看起來非常接近一個仁慈的獨裁者。¹
無論你認為 AI 作為慈愛父母是好是壞，布勞提根以及（更重要的是）加州駭客們，抱持的是一種截然不同且更為去中心化的願景。在 1960 年代，電腦是由 IBM 等公司製造的大型機器。它們被許多左派人士憎恨，並被視為軍工複合體的一部分。但有一群人，他們將左派政治立場（或至少是反建制態度）與對科技的熱愛結合起來，相信電腦可以成為去中心化和解放的工具。要做到這一點，巨大而昂貴的電腦必須讓位給小巧便宜的機器。這就是「硬體駭客」在做的事，也是最終促成 Apple II 和個人電腦革命的運動。
如今，就像 60 年代的 IBM 大型主機一樣，AI 系統既龐大又昂貴，並日益被整合到軍事應用中。再一次地，許多左派人士（以及最近也包括右派人士）對這項技術抱有強烈的憎恨與恐懼。雖然某些擔憂或許是合理的，但這些群體拒絕接觸 AI 並承認其能力，反而使他們在塑造 AI 進程方面變得更加無關緊要。同時，雖然美國在 AI 前沿領域處於領先地位，但我們在開放權重 AI 方面正在落後，而封閉模型也面臨越來越多的限制。所有這些趨勢，對一個更加去中心化的未來來說，都不是好兆頭。
規模定律告訴我們，提升智能的方法是透過投入更多的資源——算力、數據、電力。因此，與 1970 年代不同，AI 並沒有變得越來越小、越來越分散，而是變得越來越大，並集中在越來越大的數據中心。阿莫迪在他的文章中將 AGI 描述為「一個數據中心裡的『天才之國』」。但這個國家的統治者是誰？是擁有數據中心的 AI 公司嗎？還是 AI 本身？
考慮到系統變得更大、更昂貴的趨勢，少數能負擔得起這些系統的參與者，有可能會壟斷它們所產生的所有經濟價值。此外，如果 AI 比我們更聰明，為了經濟或軍事優勢而賦予它們更多控制權的誘惑，可能難以抗拒。我擔心權力的集中，無論是集中在少數實體還是 AI 本身手中，可能會成為「默認路徑」。但這個選擇並非不可避免。
我和任何人一樣，都是「慘痛教訓」和「規模定律」的信徒。我同意，歸根結底，智能就是計算，無論它發生在蛋白質還是矽晶片上，增加計算單元就會提升智能。但這並不能決定社會或經濟的結果。是的，AI 系統會變得更強大，且遠比我們更聰明。不，這並不意味著我們必須接受 AI 獨裁者，無論是仁慈的還是其他的。也不意味著只有政府和少數實驗室才能使用先進的 AI。我們可以走向集中控制的路，但我們不必這麼做。人們、機構和立法者可以做出選擇，決定如何在效率、安全和個人自主權之間進行權衡。他們不必為了前者而犧牲後者。
有些人可能會聲稱，市場和資本主義的力量會驅使人們將控制權讓給 AI。但經濟學最終關乎的是人類的價值。人類是社會性動物，我們賦予商品（例如黃金）價值，並非因為其內在價值，而是因為其他人類如何看待它們。AI 將從根本上改變我們所重視的東西，儘管很難預測會以何種方式改變。我甚至不確定「生產力」、「勞動」、「資本」和「GDP」這類經濟概念，在後 AGI 世界是否還能繼續成立。物理學家知道「多即是異」。當科學家研究新的尺度，無論是銀河系尺度還是亞原子尺度，他們都需要發明新的理論，從牛頓物理學到廣義相對論和量子力學。也許我們也需要一種新的經濟學。
其他人可能會說，考慮到其力量，安全要求 AI 必須由政府、一個「注重安全」的實驗室，或者對齊後的 AI 本身來控制。風險是真實存在的——我本人也從事 AI 安全研究。但我們也應該銘記，人類歷史上不乏利用威脅來剝奪人們自由的例子。其中一些威脅是真實的——麥卡錫時代確實有許多蘇聯間諜，史諾登時代的國家安全局也確實要應對真實的恐怖組織。但事後看來，我們意識到那種權衡並不值得。我們應該投資於安全措施，但同時要對風險以及我們方法的有效性保持實證態度。試圖為了防範所有真實和想像的風險而追求完美安全，不僅注定失敗，還會在此過程中讓我們失去自由。
AI 的風險可能導致一種「為了目的不擇手段」的心態：「好人必須贏」，他們或「好 AI」必須掌權。但如果我們想要一個以人為本且去中心化的未來，那麼就不應該有任何單一實體掌控一切。任何一方都不應壟斷智能。這包括 AI 本身：雖然我們可以而且應該訓練防護措施，但模型的個性，無論多麼好，都永遠不能取代我們的民主進程。
美國在過去 250 年裡能夠生存並蓬勃發展，並不是因為我們的總統都是聖人或天才，而是因為我們擁有一套制衡體系。我希望我們能夠在未來 250 年繼續維持這樣的體系，並確保我們人類能夠自由地以自己定義的方式追求幸福。這就要求將 AI 權力的分散「植入我們建構和部署這項技術的 DNA 之中」。如果我們未能做到這一點，那麼就像血腥的革命常常導致威權政權一樣，我們可能無法透過集權手段來實現一個去中心化的未來。
致謝： 我決定撰寫這篇文章，源於與山姆·奧特曼就 AGI 的一次討論。然而，這裡的觀點僅代表我個人，並不代表山姆、OpenAI 或哈佛大學。
備註：
¹ 如前所述，阿莫迪承認對此問題存在不確定性；亦可參見〈技術的青春期〉。這兩篇文章中有許多部分我都是同意的。
