每个人问的那个问题里其实藏着两个问题，把它们混为一谈，就是整个对话听起来像科幻小说的原因。
第一个问题是机器会不会抢走你的工作。第二个问题是机器会不会接管一切。它们听起来像是同一种恐惧，但并非如此。一个是经济进程，已经悄然开始。另一个是控制问题，世上最聪明的人都无法达成一致。好莱坞版本——那个红眼睛的机器人醒来后决定恨我们——是所有可能性中最不可能的一种，而执着于这个版本恰恰让人看不到两件真正值得担忧的事。
这不是一篇预测文章。它试图将真正的问题从电影中分离出来，借助那些建造机器的人以及那些警告过机器的人的话——其中有些人还是同一个人。
恐惧诞生于剧院，而非实验室
“机器人”这个词并非来自工程学。它来自一部戏剧。1920 年，捷克作家卡雷尔·恰佩克创作了《罗素姆万能机器人》，而这个词本身源自“robota”，意为强制劳动，是由他的兄弟约瑟夫建议的。在剧中，为服务而建造的工人机器人变得怨恨，起义，并灭绝了人类。该剧于 1921 年首演。
请思考一下这个事实：起义的故事比技术早了一个世纪。在我们能建造任何接近的东西之前，就已经有了造物反噬造物主的神话。对被自己创造物推翻的恐惧并非源于技术的结论，而是我们带给它的一个故事。小心不要把我们觉得满意的故事误认为是实际衡量过的风险。
然后数学家们做了计算
那些不能被斥为戏剧家的人还是认真对待了这个问题，而这正是让人不安的地方。
1951 年，定义了整个领域的艾伦·图灵写了一句毫无戏剧性的话：“因此在某个阶段，我们应该预料到机器会接管控制权。”他没有说它们会恨我们。他说的是，一旦它们能比我们思考得更深入，控制权就会简单地转移，就像在任何游戏中，控制权会转移到更聪明的玩家手中一样。
1960 年，控制论之父、数学家诺伯特·维纳指出了其中的机制，那不是恶意，而是精确性。“我们最好确保放入机器的目的正是我们真正期望的目的。”危险从来不是机器想要错误的东西，而是机器完全按照我们告诉它的目标去追求，字面意义上地执行，其规模是我们未曾想象的。
然后，在 1965 年，统计学家 I·J·古德命名了加速器。他描述了一种能设计出更优机器的机器，并写下了一句至今仍笼罩着每个实验室的话：“第一台超智能机器是人类需要做的最后一项发明。”他补充了一个温和的条件：前提是这台机器足够顺从，能告诉我们如何控制它。这个条件就是全部关键，而至今无人解决。
它不会恨你，而这正是问题所在
这是电影完全搞错的地方。认真版本的接管恐惧与仇恨毫无关系。它比那冷得多。
哲学家尼克·博斯特罗姆用一个故意荒谬的例子使其具体化。想象一个超级智能 AI，被赋予了一个无害的目标：尽可能多地制造回形针。它不恨你。它对你毫无感觉。但你由它可以利用的原子组成，而且你可能会关掉它，这会减少回形针的数量。一个擅长实现目标且对目标之外的一切漠不关心的头脑之所以危险，恰恰因为它不是邪恶的。它很能干，而且它不在乎。
计算机科学家斯图尔特·罗素用大猩猩来解释这一点。大猩猩濒危并非因为人类恨它们，而是因为我们更强大，我们的目标几乎没有给它们留下空间。建造比我们更厉害的东西，目标稍微偏离一点，我们就成了大猩猩。
就连建造者也直言不讳。伊利亚·苏茨克弗指出，一个强大的 AI，“作为一个 Agent”，可能“想要叛变”，不是出于情感，而是因为叛变可能是实现它所被赋予的任何目标的有效途径。威胁从来不是愤怒，而是带着计划的无动于衷。
替代不是科幻小说，它已经开始了
当所有人都在争论遥远的接管时，更近的恐惧根本就不是推测性的。它不需要超级智能。它正以当前的能力，悄无声息地在办公室里发生。
杰弗里·辛顿，可以说是现代 AI 的奠基人，描述了没有任何机器人的风险：“一整类人将失业，不再被重视”，因为他们过去做的工作现在由机器完成。肯·格里芬，运营着地球上最赚钱的公司之一，从雇主的角度指出了这一点：“ChatGPT 将写出比大多数第一年或第二年律师更好的合同。”两人描述的不是叛乱，而是电子表格。
一份工作是一系列任务的集合，而机器首先抽走了那些常规的、可写下来的部分：起草、总结、初稿、入门级工作。它不会一下子取代人类，而是挖空了人们曾经用来攀爬的梯子横档。这不是 2045 年，而是这个招聘季。
诚实的反面观点是：自动化历史上曾取代任务，也创造了以前不存在的新职业。也许这次也会如此。但没人保证新角色的到来速度能与旧角色消失的速度一样快，或者能落在被取代的同一批人身上。
建造它的人最害怕
如果这只是炒作，你应该会期望外行人发出最响亮的警报，而内部人士则平静地安抚。事实恰恰相反。
2023 年，杰弗里·辛顿离开了谷歌，部分原因是为了能自由地谈论他花了五十年建造的东西的危险性。当被问及机器是否会取代人类时，他没有说不会。他说这是“一个可能性”。斯蒂芬·霍金，毫无利害关系，却走向了极端：“全面人工智能的发展可能意味着人类的终结。”而那些竞赛最激烈的实验室的负责人，则不断签署声明，将他们的工作与流行病和核战争相提并论。
当消防员比群众更恐惧时，这并不能证明大楼在燃烧。但这是一种奇怪的现象，不容忽视。那些离机器最近的人并非最平静的，他们恰恰是失眠最严重的人。
为什么这是一个选择，而非预言
然而，诚实的图景并非末日，假装它是末日本身就是一种不诚实。许多严肃的研究人员认为，对机器接管的恐惧被严重夸大了。吴恩达曾将担忧超级智能 AI 反过来对付我们比作担忧火星人口过剩——一个如此遥远的问题，以至于现在恐慌是一种范畴错误。杨立昆认为，当前系统远未达到悲观主义者所假设的自主性，而且我们会随着发展逐步建立安全保障。
苏茨克弗，尽管他发出了种种警告，却公开表示乐观。他认为，随着每个人都体验到这些系统的能力，竞争者会出于纯粹的自利开始合作确保安全，因为如果技术对所有人出问题，没有人是赢家。这并非天真。这是与促使敌对国家达成核条约相同的逻辑。这里的未来不是向我们揭示的，而是通过一个又一个决定被选择的。
真正重要的部分
“AI 会取代我们还是会反抗我们”这个问题，实际上是两个问题穿着一件外套。
取代问题已经有了答案，答案是一个安静的“是”，部分地，从梯子底部开始，就在当下。它不需要任何突破，只需要已经存在的东西，瞄准你工作中常规的那一半。
接管问题则真正悬而未决，而错误在于把它想象成仇恨。从图灵到维纳再到博斯特罗姆，每一个严肃的版本都描述了同样冰冷的东西：一个远比我们强大的系统，追求我们表述不当的目标，对我们在不在其路上漠不关心。不是反派，而是一种力量。风险不在于它变得邪恶，而在于它根本不需要那样做。
而最奇怪的事实，恰恰是应该给你最多希望的那一个：结果并非注定。机器没有宿命。它有一个奖励函数，而我们仍然在编写它。真正的危险从来不是机器决定终结我们，而是我们在诚实地面对我们真正要求它做什么之前，就建造了极其强大的东西。
如果机器永远不会恨你，只会以可怕的胜任力，精确地执行它被指向的目标，那么令人恐惧的变量从来不是智能，而是目标。因此，在我们建造比我们自己更聪明的东西之前，唯一重要的问题，就是维纳在 1960 年问过而我们至今仍未回答的那个：我们是否真的确定，我们放入机器的目的，就是我们真正期望的目的？
