我最近正和女儿一起重读史蒂文·利维的《黑客》一书。利维描述了布拉蒂根 1967 年的诗歌《被仁慈的机器所注视》如何启发了 20 世纪 70 年代加利福尼亚州的“硬件黑客”以及诸如 Community Memory 这样的组织。
到了 2026 年，“被仁慈的机器所注视”这句话让人联想到一个画面：人类被一个强大且对齐（“热爱人类”）的 AI 温柔地拥抱着；一个 AI 仁慈的独裁者。事实上，在达里奥·阿莫迪那篇题为《仁慈的机器》的文章中，他（在承认存在巨大不确定性的同时）提出，未来经济的一种形式可能是围绕 AI 系统（与人类价值观对齐）来组织的，这些系统决定如何“根据 AI 系统认为值得奖励人类的某种次级经济，向人类分配资源……”。这似乎将 AI 置于父母的位置，它们掌控并满足人类子女的物质需求，并决定如何奖励或惩罚他们。在我看来，这种“AI 父母”的形象非常接近于一个仁慈的独裁者。¹
无论你认为 AI 作为慈爱的父母是好的结果还是坏的结果，布拉蒂根以及（更重要的）加利福尼亚黑客们都有一个截然不同且更加去中心化的愿景。在 20 世纪 60 年代，计算机是由 IBM 等公司制造的大型机器。它们在左翼人士中备受憎恨，被认为是军工复合体的一部分。但有一群人，他们结合了左翼政治（或者至少是反体制的态度）和对技术的热爱，并相信计算机可以成为去中心化和解放的工具。为此，那些巨大而昂贵的计算机需要让位于小巧廉价的机器。这正是“硬件黑客”们所追求的，也是这场运动最终催生了 Apple II 和个人电脑革命。
今天，就像 60 年代的 IBM 大型机一样，AI 系统庞大且昂贵，并越来越多地被整合到军事应用中。同样，许多左翼人士（以及最近右翼人士也是）对这项技术抱有强烈的憎恨和恐惧。虽然某些担忧可能是合理的，但通过拒绝接触 AI 并承认其能力，这些群体正使自己与塑造 AI 进步的过程渐行渐远。此外，虽然美国处于前沿领先地位，但我们在开放权重 AI 方面正在落后，封闭模型也面临着越来越多的限制。所有这些趋势对于更加去中心化的未来来说，都不是好兆头。
缩放定律告诉我们，提高智能的方法是投入更多的资源——算力、数据、电力。因此，与 20 世纪 70 年代不同，AI 并没有变得更小、更分散，而是变得更大，并集中在越来越大的数据中心里。阿莫迪在他的文章中，将 AGI 描述为“一个数据中心里的天才国家”。但这个国家的统治者是谁？是拥有数据中心的 AI 公司？还是 AI 本身？
鉴于系统日益庞大和昂贵的趋势，少数能够负担得起这些系统的实体，有可能攫取它们产生的所有经济价值。此外，如果 AI 比我们更聪明，出于经济或军事优势的考虑而赋予它们更多控制权的诱惑可能难以抗拒。我担心权力集中，无论是掌握在少数实体手中还是 AI 自己手中，可能会成为“默认路径”。但这种选择并非不可避免。
我和任何人一样，是“苦涩教训论”和“缩放定律论”的信徒。我同意，智能最终就是计算，无论它发生在蛋白质还是硅基上，增加计算单元就会提高智能。但这并不能决定社会或经济的结果。是的，AI 系统将变得更加强大，比我们聪明得多。不，这并不意味着我们必须接受 AI 独裁者，无论是仁慈的还是其他的。这也不意味着只有政府和少数实验室才能访问先进的 AI。我们可以走上集中控制的道路，但我们并非必须如此。个人、机构和立法者可以就如何权衡效率、安全和个人自主权做出选择。他们不必为了前者而牺牲后者。
有些人可能会声称，市场和资本主义力量会驱使人们将控制权让渡给 AI。但经济归根结底是关于人类珍视什么。人类是社会性动物，我们赋予商品（例如黄金）价值，并非因为其内在价值，而是因为其他人类如何珍视它。AI 将彻底改变我们珍视的东西，尽管很难预测会以何种方式改变。我甚至不确定，在后 AGI 世界里，像生产力、劳动力、资本和 GDP 这样的经济概念是否还会继续有意义。物理学家知道“规模不同，规律不同”。当科学家研究新的尺度，无论是星系尺度还是亚原子尺度，他们都需要发明新的理论，从牛顿物理学到广义相对论和量子力学。也许我们需要一种新型的经济。
其他人可能会说，鉴于其强大的力量，出于安全考虑，AI 必须由政府、一个“有安全意识”的实验室，或者经过对齐的 AI 本身来控制。风险是真实存在的——我自己也在从事 AI 安全的工作。但我们也应该记住，利用威胁来剥夺人们自由的漫长历史。其中一些威胁是真实的——麦卡锡时期确实有很多苏联间谍，而斯诺登时期的 NSA 也确实在处理真正的恐怖组织。但事后看来，我们意识到这种权衡并不值得。我们应该投资于安全保障，但要对风险和方法的有效性都保持经验主义的态度。试图实现对所有风险（无论真实还是想象）的完美安全，不仅注定失败，而且会在这个过程中付出自由的代价。
AI 的风险可能导致一种“结果证明手段正确”的心态：“好人必须赢”，他们或“好 AI”必须掌权。但如果我们想要一个以人类为中心、去中心化的未来，那么就不应该由任何单一实体来掌控。任何一方都不应该垄断智能。这包括 AI 本身：虽然我们可以而且应该训练护栏，但模型的个性，无论多么好，永远不能替代我们的民主进程。
美国在过去 250 年里能够生存并繁荣，不是因为我们的总统都是圣人或天才，而是因为我们的制衡体系。我希望我们能够为未来 250 年维持这样的体系，并确保我们人类能够自由地追求我们自己定义的幸福。这要求 AI 权力的分配方式必须“融入”我们构建和部署这项技术的“基因”。如果我们做不到这一点，那么就像血腥的革命常常导致威权政权一样，我们可能无法通过集权的方式达到去中心化的未来。
致谢： 我决定写这篇文章，是源于与 Sam Altman 关于 AGI 的一次讨论。然而，这里的观点是我个人的，并不代表 Sam、OpenAI 或哈佛大学。
注释：
¹ 如前所述，阿莫迪承认对此事存在不确定性；另请参阅《技术的青春期》。这两篇文章中有许多我认同的部分。
