译：慈爱之机

原文：https://darioamodei.com/machines-of-loving-grace
作者：Dario Amodei
译者：ChatGPT 4 Turbo

人工智能如何能够使世界变得更好。

2024 年 10 月

我经常思考和谈论强大人工智能的风险。我担任 CEO 的公司 Anthropic 在如何减少这些风险上做了大量研究。因此，有时人们会得出这样的结论：我是一个悲观主义者或者认为人工智能将主要带来坏处或危险的“末日论者”。我根本不这么认为。事实上，我专注于风险的一个主要原因是，它们是我们与我认为的根本积极的未来之间唯一的障碍。我认为，大多数人低估了人工智能可能带来的深刻好处，就像我认为大多数人低估了风险可能有多坏一样。

在这篇文章中，我试图勾画出那种好处可能是什么样子——如果一切都发展得顺利，一个拥有强大人工智能的世界可能会是什么样子。当然，没有人可以准确或精确地知道未来，而且强大的人工智能的影响可能比过去的技术变革更加不可预测，所以所有这些都不可避免地包含了猜测。但我目标是至少做出有根据且有用的猜测，哪怕大多数细节最终都是错误的，也能捕捉到将要发生的事情的味道。我包含了很多细节，主要是因为我认为一个具体的愿景比一个高度保留且抽象的愿景更能推动讨论。

首先，然而，我想简要解释为什么我和 Anthropic 没有太多谈论强大人工智能的好处，以及为什么我们总的来说，可能会继续大量谈论风险。特别是，我做出这个选择是出于以下愿望：

最大化杠杆作用。人工智能技术的基本发展和许多（不是全部）好处似乎是不可避免的（除非风险破坏了一切），并且本质上是由强大的市场力量驱动的。另一方面，风险并不是预定的，我们的行动可以大大改变它们的可能性。
避免给人宣传的感觉。讨论 AI 所有惊人好处的 AI 公司可能会给人一种宣传者的感觉，或者好像他们在试图分散人们对缺点的注意。我也认为，原则上来说，花太多时间“吹嘘自己的产品”对你的灵魂是有害的。
避免宏大言论。我经常对许多讨论后 AGI 世界的 AI 风险公众人物（更不用说 AI 公司领袖）的说法感到不适，好像他们的使命就是像先知一样独自带领人们走向救赎。我认为，将公司视为单方面塑造世界的观点是危险的，用本质上宗教化的术语来看待实际技术目标也是危险的。
避免“科幻”包袱。虽然我认为大多数人低估了强大 AI 的上升空间，但讨论激进 AI 未来的小社群经常以过于“科幻”的语调来进行（例如，讨论意识上载、太空探索或一般赛博朋克风格）。我认为这导致人们对这些论断不够认真，给它们赋予了某种不真实感。要明确的是，问题不在于描述的技术是否可能或可能性有多大（主要的文章在细节上进行了讨论）——更多的是，“氛围”通过暗示引入了一堆文化包袱和未声明的假设，关于哪种未来是可取的，各种社会问题将如何演绎等。结果经常像是为一个狭窄的亚文化制造的幻想，而对大多数人来说则是令人反感的。

然而，尽管存在上述所有担忧，我真的认为讨论一个拥有强大 AI 的美好世界可能是什么样子是很重要的，同时我们要尽最大努力避免上述陷阱。事实上，我认为拥有一个真正鼓舞人心的未来愿景是至关重要的，而不仅仅是一个灭火的计划。强大的 AI 带来的许多含义是敌对的或危险的，但归根结底，我们必须为某件事而战斗，一些让每个人都过得更好的正和结果，一些能鼓励人们超越争执、面对未来挑战的东西。恐惧是一种激励方式，但这还不够：我们也需要希望。

强大人工智能的积极应用范围极其广泛（包括机器人技术、制造业、能源等等），但我将重点介绍几个我认为最有潜力直接提高人类生活质量的领域。我最感兴趣的五个类别是：

生物学和身体健康
神经科学与心理健康
经济发展与贫困
和平与治理
工作与意义

按照大多数标准（不包括科幻中的“奇点”视角2）来看，我的预测将会非常激进，但我是认真而严肃的表达这些观点。我所说的一切都很容易是错误的（重申我之前的观点），但我至少尝试将我的观点建立在对各个领域进展可能加速的半分析评估以及这可能在实践中意味着什么的基础上。我很幸运拥有生物学和神经科学方面的专业经验，并且我是经济发展领域的知情业余爱好者，但我肯定会犯很多错误。写这篇文章让我意识到，将一群领域专家（在生物学、经济学、国际关系等领域）聚集在一起，写出一个比我这里更好、更有信息量的版本会很有价值。将我的努力视为对该团队的一个启动提示可能是最好的。

基本假设与框架

为了使这篇文章更加精确和扎实，明确指出我们所说的强大人工智能（即开始计算 5-10 年时钟的阈值）是什么，以及为思考这种人工智能一旦出现后的效果搭建一个框架，是非常有帮助的。

强大人工智能（我不喜欢术语 AGI）3 的样子，以及它何时（或是否）会到来，本身就是一个巨大的话题。这是我公开讨论过的话题，我可能会在某个时候写一篇完全独立的文章。显然，许多人怀疑强大的人工智能会很快被构建，有些人甚至怀疑它是否会被构建。我认为它可能早在 2026 年到来，尽管也有可能需要更长时间。但就本文而言，我想将这些问题搁置，在此假设它将在合理的时间内到来，并专注于那之后的 5-10 年会发生什么。我还想假设这样一个系统的定义——它将呈现的样子、它的能力以及它的交互方式，尽管对此存在分歧。

通过 强大的人工智能，我想象中的是一种 AI 模型——可能与今天的大型语言模型（LLM）在形式上相似，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且可能以不同的方式进行训练——具有以下特性：

就纯粹的智能4而言，它比大多数相关领域的诺贝尔奖得主更聪明——生物学、编程、数学、工程、写作等。这意味着它能证明未解的数学定理，写出极好的小说，从零开始编写复杂的代码库等。
除了仅仅是一个你可以交谈的“聪明东西”，它还具备一个虚拟工作中的人类所拥有的所有“接口”，包括文本、音频、视频、鼠标和键盘控制以及互联网访问权限。它可以参与任何由这些接口启用的行动、通讯或远程操作，包括在互联网上采取行动、向人类发出或接收指令、订购材料、指导实验、观看视频、制作视频等。它以一种超越世界上最有能力的人的技巧完成所有这些任务。
它不仅仅被动地回答问题；相反，它可以被赋予需要几小时、几天或几周才能完成的任务，然后自主地去完成这些任务，像一个聪明的雇员那样，在必要时请求澄清。
它没有物理体现（除了存在于计算机屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备来使用。
用于训练模型的资源可以被重新利用来运行数百万个实例（这符合大约 2027 年的预计集群规模），并且该模型可以以大约 10x-100x 的人类速度5吸收信息并产生行动。不过，它可能受到物理世界或其互动软件反应时间的限制。
这百万份拷贝中的每一份都可以独立地处理不相关的任务，或者如果需要，可以像人类协作一样全部一起工作，或许还有不同的子群体经过微调，特别擅长特定的任务。

我们可以将其总结为“数据中心中的天才国”。

显然，这样的实体将能够非常迅速地解决非常困难的问题，但要弄清楚有多快并非易事。两个“极端”的立场在我看来都是错误的。首先，你可能会认为世界会在几秒或几天的规模内瞬间转变（如 “奇点”），因为优越的智能会在自身的基础上不断发展，几乎立即解决所有可能的科学、工程和运营任务。这个想法的问题在于，存在真实的物理和实践限制，例如在构建硬件或进行生物实验方面。即使是新的天才国家也会遇到这些限制。智力可能非常强大，但它并不是魔法粉尘。

第二，相反地，你可能认为技术进步饱和或受制于现实世界数据或社会因素的限制，认为超越人类的智力将加入非常少的东西6。这在我看来同样不现实——我能想到数以百计的科学或甚至社会问题，在这些问题上，一大群真正聪明的人会极大地加快进步，特别是如果他们不仅限于分析，并且能够在现实世界中（我们假设的天才国家可以做到这点，包括通过指导或协助人类团队）让事情发生。

我认为真相可能是这两个极端图像的一些混杂，这是一个因任务和领域而异、在细节上非常微妙的东西。我相信我们需要新的框架以有生产力的方式思考这些细节。

经济学家经常谈论“生产要素”：例如劳动力、土地和资本。短语“劳动力/土地/资本的边际回报”捕捉到了在给定情况下，一个给定因素可能是或可能不是限制性因素的思想——例如，空军需要飞机和飞行员，如果你的飞机用完了，招聘更多的飞行员也帮不上什么忙。我相信在 AI 时代，我们应该谈论 智力的边际回报7，并尝试弄清楚其他哪些因素与智力互补，在智力非常高时成为限制因素。我们不习惯以这种方式思考——询问“变得更聪明对这个任务有多大帮助，以及在什么时间尺度上？”——但这似乎是概念化一个拥有非常强大 AI 的世界的正确方式。

我对限制或补充智能因素的猜测列表包括：

外部世界的速度。智能代理需要在世界中交互地运作，以完成事情并学习。但是世界的移动速度只有那么快。细胞和动物以固定的速度运行，所以对它们的实验需要一定的时间，这可能是不可减少的。硬件、材料科学、涉及与人沟通的任何事情，甚至我们现有的软件基础设施也是如此。此外，在科学中，许多实验通常需要按顺序进行，每个实验都从上一个实验中学习或建立。所有这些都意味着，一个主要项目 —— 例如开发癌症治疗 —— 的完成速度可能有一个不可减少的最小值，即使智能继续增加，这个最小值也无法进一步降低。
对数据的需求。有时缺乏原始数据，在没有数据的情况下，更多的智能无济于事。今天的粒子物理学家非常有创造力，已经开发出了广泛的理论，但因为粒子加速器的数据非常有限，他们无法在这些理论之间做出选择。如果他们超级聪明的话，除了可能加速建造一个更大的加速器外，不清楚他们会做得极好。
内在复杂性。有些事情本质上是不可预测的或混沌的，即使是最强大的 AI 也不能比现在的人类或计算机显著地更好地预测或解开它们。例如，即使是非常强大的 AI，在一般情况下，也只能在混沌系统（如三体问题）中比今天的人类和计算机预测更进一步。
来自人类的限制。许多事情在不违反法律、伤害人类或搞乱社会的情况下无法完成。一个对齐的 AI 不会想要做这些事情（如果我们有一个未对齐的 AI，我们就又回到了谈风险的问题）。许多人类社会结构是低效的，甚至是主动有害的，但在尊重诸如临床试验的法律要求、人们改变习惯的意愿或政府行为等约束的同时，这些结构难以改变。在技术上运行良好，但其影响因法规或误放的恐惧而大幅减少的进步的例子，包括核能、超音速飞行和甚至电梯。
物理定律。这是第一点的一个更明显的版本。有些物理规律看起来是不可违反的。不可能比光速更快地移动。布丁是无法恢复原状的。芯片每平方厘米只能有那么多的晶体管在变得不可靠之前。计算每位删除所需的最小能量有一定限制，限制了世界上计算的密度。

基于 时间尺度 有进一步的区分。短期内看起来是硬约束的事物，从长远来看可能对智能更加有弹性。例如，智能可能被用来开发一种新的实验范式，允许我们在体外学习以前需要活体动物实验的内容，或者建造收集新数据所需的工具（例如更大的粒子加速器），或者（在伦理限制内）找到绕过基于人的约束的方法（例如帮助改进临床试验系统，帮助创建临床试验官僚主义较少的新管辖区，或改进科学本身，使人类临床试验变得不那么必需或更便宜）。

因此，我们应该设想一个画面，其中智能最初被其他生产要素严重限制，但随着时间的推移，智能本身越来越多地绕过其他要素，即使它们永远不会完全消失（像物理定律那样的一些事情是绝对的）10。关键问题是这一切发生的速度和顺序。

考虑到上述框架，我会尝试回答引言中提到的五个领域的问题。

1. 生物学和健康

生物学可能是科学进步有最大潜力直接和明确地改善人类生活质量的领域。在过去的一个世纪中，一些最古老的人类疾病（如天花）终于被征服，但还有更多的疾病仍然存在，战胜它们将是一个巨大的人道主义成就。超越疾病治疗，生物科学原则上可以通过延长健康的人类寿命、增加我们对自己生物过程的控制和自由度，以及解决我们目前认为是人类条件不可改变的部分日常问题，改善人类健康的基线质量。

在前一节的 “限制因素” 语言中，直接将智力应用于生物学的主要挑战是数据、物理世界的速度和内在复杂性（实际上，这三者是相互关联的）。人类的限制在后期也会发挥作用，尤其是涉及临床试验时。让我们一一探讨。

在细胞、动物甚至化学过程上的实验受到物理世界速度的限制：许多生物学协议涉及培养细菌或其他细胞，或仅仅是等待化学反应发生，这有时可能需要几天甚至几周，没有明显的方法来加速这一过程。动物实验可能需要数月（或更长），而人类实验往往需要数年（或对于长期结果研究甚至数十年）。在某种程度上与此相关的是，数据往往匮乏——不是数量上，而是质量上：总是缺乏清晰、明确的数据，这些数据能从其他 10,000 个混杂的因素中隔离出感兴趣的生物效应，或在给定过程中因果干预，或直接测量某种效应（而不是以某种间接或嘈杂的方式推断其后果）。即使是大量的、定量的分子数据，如我在研究质谱技术时收集的蛋白质组学数据，也是嘈杂的，并且错过了很多（这些蛋白质在哪种类型的细胞中？在细胞的哪个部分？在细胞周期的哪个阶段？）。

数据问题部分地归因于内在复杂性：如果你曾经看过展示人体代谢生物化学的图表，你会知道，隔离这个复杂系统的任何部分的效果是非常困难的，更不用说以一种精确或可预测的方式干预系统了。最后，除了人体实验本身所需的时间，实际的临床试验涉及大量的官僚主义和监管要求，这些（在许多人包括我在内的看法中）增加了不必要的额外时间，延缓了进展。

鉴于这一切，许多生物学家对人工智能和更广泛意义上的“大数据”在生物学中的价值长期以来一直持怀疑态度。历史上，过去 30 年里，将他们的技能应用于生物学的数学家、计算机科学家和物理学家虽然取得了相当大的成功，但并没有达到最初希望的那种根本性的影响。AlphaFold（其创造者刚刚当之无愧地赢得了诺贝尔化学奖）和 AlphaProteo 11 等重大革命性突破减少了一些怀疑，但仍然存在一种看法，即人工智能（现在和将来）只在有限的情况下有用。一个常见的说法是“人工智能可以更好地分析你的数据，但它不能产生更多数据或提高数据质量。垃圾进，垃圾出”。

但我认为，这种悲观的观点是以错误的方式来看待人工智能的。如果我们对人工智能进步的核心假设是正确的，那么正确的看待人工智能的方式不应该是作为一种数据分析方法，而应该是作为一个执行生物学家所做的_所有_任务的虚拟生物学家，包括在现实世界中设计和运行实验（通过控制实验室机器人或简单地告诉人类运行哪些实验——就像首席研究员会对他们的研究生所做的那样）、发明新的生物学方法或测量技术等等。通过加速_整个研究过程_，人工智能真正能够加速生物学研究。我想重申这一点，因为这是我讨论人工智能改变生物学能力时最常见的误解：我_不是_只在谈论使用人工智能作为分析数据的工具。与本文开头对强大人工智能的定义一致，我谈论的是使用人工智能来执行、指导并改进生物学家所做的几乎一切。

要具体说明我认为加速可能来自哪里，生物学的进步出奇地大部分来自极少数的发现，这些发现往往与广泛的测量工具或技术相关12，它们允许对生物系统进行精确但通用或可编程的干预。大约每年有～1 项这样的重大发现，而这些发现共同推动了生物学进步的 50% 以上。这些发现之所以如此强大，正是因为它们穿透了固有的复杂性和数据限制，直接增加了我们对生物过程的理解和控制。每十年的几次发现，使我们对生物学的基本科学理解和推动许多最强大的医疗治疗成为可能。

一些例子包括：

CRISPR：一种技术，允许在活细胞中编辑任何基因（将任意基因序列替换为任意其他序列）。自从原始技术开发以来，一直有不断的改进针对特定细胞类型进行，增加准确性，并减少错误基因的编辑——所有这些都是人类安全使用所需的。
各种类型的显微镜，用于观察精确级别上的活动：高级光学显微镜（带有各种荧光技术、特殊光学等）、电子显微镜、原子力显微镜等。
基因组测序和合成，在过去几十年的成本已降低了数个数量级。
光遗传学技术允许你通过照射光线使神经元激发。
mRNA 疫苗，原则上允许我们针对任何东西设计疫苗，然后快速适应（mRNA 疫苗在 COVID 期间当然变得著名）。
细胞疗法，如 CAR-T，它允许将免疫细胞从体内取出并“重新编程”以原则上攻击任何东西。
概念性洞察，如细菌病理论或免疫系统与癌症之间联系的认识13。

我之所以列出所有这些技术，是因为我想提出一个关键的主张：我认为如果有更多有才华的、有创造性的研究人员，这些发现的发现速度可以提高 10 倍或更多。换句话说，我认为对于这些发现，智力的回报很高，而且生物学和医学的其他所有内容基本上都是由它们衍生出来的。

我为什么这么认为？因为当我们试图确定“智力的回报”时，应该习惯性提出一些问题的答案。首先，这些发现通常是由少数研究人员做出的，往往是同一些人不断重复，这暗示了技能而非随机搜索（后者可能意味着冗长的实验是限制因素）。其次，它们往往“本可以”比实际发现的时间早数年被发现：例如，CRISPR 是细菌免疫系统中自然存在的组成部分，自 80 年代以来就已知晓，但又过了 25 年，人们才意识到它可以被改造用于通用的基因编辑。它们也经常因为缺乏科学界对有前途方向的支持而延误多年（参见这篇关于 mRNA 疫苗发明者的报道；类似的故事比比皆是）。第三，成功的项目往往是零碎的，或者是人们最初认为不太有前景的事后想法，而不是大规模资助的努力。这表明，推动发现的不仅仅是大量资源的集中，而是独创性。

最后，虽然这些发现中有一些存在“序列依赖性”（你需要先进行 A 发现，才能拥有进行 B 发现所需的工具或知识）——这再次可能会导致实验延迟——但许多，或许是大多数发现是独立的，意味着许多发现可以同时并行进行。这些事实，以及我作为生物学家的一般经验，强烈地表明，如果科学家们能更聪明一些，更擅长于在人类拥有的庞大生物学知识之间建立联系（再次考虑 CRISPR 示例），那么就有数百项这样的发现等着被发现。AlphaFold/AlphaProteo 在解决重要问题方面比人类有效得多的成功，尽管经过了数十年精心设计的物理建模，提供了一个原理证明（尽管是用一个狭窄的工具在一个狭窄的领域），应该指明了前进的方向。

因此，我猜想强大的 AI 至少可以将这些发现的速率提高 10 倍，让我们在 5-10 年内获得未来 50-100 年的生物学进展。为什么不是 100 倍？也许这是可能的，但在这里序列依赖性和实验时间变得重要：在 1 年内获得 100 年的进展需要很多事情第一次就做对，包括动物实验和设计显微镜或昂贵实验室设施之类的事情。我实际上对我们能在 5-10 年内获得 1000 年的进展的（也许听起来有些荒谬的）想法持开放态度，但对于我们能在 1 年内获得 100 年的进展非常怀疑。换一种说法就是，我认为有一个不可避免的常数延迟：实验和硬件设计有一定的“延迟性”，并且需要迭代一定的“不可缩减”的次数，才能学到一些不能逻辑推导出来的东西。但在此基础上可能存在大规模的并行操作。

那临床试验呢？尽管临床试验有很多官僚主义和缓慢进展，但事实是，临床试验的缓慢最终很大程度上源于需要严格评估几乎不起作用或含糊其辞地起作用的药物。不幸的是，这是当今大多数疗法的真实情况：平均的癌症药物将存活时间延长几个月，同时具有需要仔细衡量的重大副作用（阿尔茨海默病药物也有类似的情况）。这导致了巨大的研究规模（为了达到统计力量）和困难的权衡，这是监管机构通常不擅长做出的，再次是因为官僚主义和竞争利益的复杂性。

当某些东西运行得非常好时，它的速度会更快：当效果大小更大时，有一个加速审批轨道，审批的容易程度也大大增加。mRNA 疫苗用于 COVID 在 9 个月内获得批准——比通常的速度快得多。即便如此，在这些条件下，临床试验仍然太慢——可以说，mRNA 疫苗_应该_在大约 2 个月内获得批准。但这种类型的延迟（对于一种药物来说，从头到尾大约 1 年）结合了大规模并行化以及对一些但不是过多迭代的需求（“几次尝试”），与在 5-10 年内实现根本性转变非常兼容。更加乐观地，AI 使能的生物科学可能会通过开发更好的动物和细胞实验模型（甚至是模拟），这些模型在预测人类中会发生什么方面更加准确，从而减少临床试验中迭代的需求。这在针对延缓衰老过程的药物开发中将特别重要，衰老过程贯穿了数十年，我们需要一个更快的迭代循环。

最后，在临床试验和社会障碍的话题上，值得明确指出的是，从某些方面来说，生物医学创新在成功部署方面有一个异常_强大_的记录，与一些其他技术形成对比。如引言中所述，许多技术尽管在技术上运行良好，但因社会因素而受到阻碍。这可能表明了对 AI 能够完成什么的悲观视角。但生物医药领域独一无二，尽管开发药物的过程过于繁琐，一旦开发出来，它们通常都能成功部署和使用。

总结以上内容，我的基本预测是，AI 使能的生物学和医学将使我们能够将人类生物学家在接下来的 50-100 年内所能取得的进展压缩到 5-10 年内。我将这称之为“压缩的 21 世纪”：在开发出强大的 AI 之后，我们将在几年内完成在整个 21 世纪我们将取得的所有生物学和医学上的进步。

虽然预测强大的人工智能在未来几年能做什么本质上仍然是困难且富于猜测的，但询问“在未来 100 年内，人类未受帮助能做什么？”则有一定的具体性。仅仅回顾我们在 20 世纪所取得的成就，或从 21 世纪的前 20 年进行推算，或询问“10 个 CRISPR 和 50 个 CAR-T 能给我们带来什么”，都提供了一种实际的、有根据的方式来估计我们可能期待的人工智能带来的普遍进步水平。

下面我尝试列出我们可能期待的一些成就。这不是基于任何严格的方法论，几乎肯定会在细节上证明是错误的，但它试图传达我们应该期待的激进主义的一般_水平_：

可靠的预防和治疗几乎所有17 自然传染病。 鉴于 20 世纪在抵抗传染病方面取得的巨大进步，想象我们在紧缩的 21 世纪“完成工作”并不激进。mRNA 疫苗和类似技术已经指明了向 “任何疫苗” 的方向前进。传染病是否_完全从世界上根除_（而不仅仅是在某些地方）取决于有关贫困和不平等的问题，这将在第 3 节中讨论。
消除大多数癌症。 过去几十年中，癌症死亡率每年下降约 2%；因此，我们正处于以当前人类科学的步伐，在 21 世纪消除大多数癌症的轨道上。一些亚型已经在很大程度上被治愈（例如，使用 CAR-T 治疗的某些类型的白血病），我对非常选择性的药物感到更加兴奋，这些药物目标是癌症的早期并预防其生长。人工智能还将使得针对癌症个性化基因组非常精细调整的治疗方案成为可能——这些今天是可能的，但在时间和人类专业知识上极其昂贵，人工智能应该允许我们扩大规模。减少 95% 或更多的死亡率和发病率似乎是可能的。也就是说，癌症极其多样化且具有适应性，完全消灭它可能是这些疾病中最难的。如果一系列罕见、难治的恶性肿瘤持续存在，那也不足为奇。
遗传病的高效预防和治疗。大幅改进的胚胎筛查很可能使得防止大多数遗传病成为可能，而 CRISPR 的某种更安全、更可靠的后代技术可能治愈现有人群中的大多数遗传病。然而，影响大部分细胞的全身性疾病可能是最后的难题。
阿尔茨海默病的预防。我们在理解阿尔茨海默病的原因（它与 beta-淀粉样蛋白有关，但实际细节似乎非常复杂）上遇到了很大的困难。这似乎正是可以通过更好的测量工具解决的问题，这些工具能够隔离生物学效应；因此，我对 AI 解决此问题持乐观态度。一旦我们真正理解发生了什么，最终可能通过相对简单的干预来预防它。不过，已有阿尔茨海默病的损害可能非常难以逆转。
大多数其他疾病的治疗改进。这是一个包含其它疾病的总称，包括糖尿病、肥胖、心脏病、自身免疫性疾病等。大多数这类疾病看起来比癌症和阿尔茨海默病“更易”解决，在许多情况下已经大幅下降。例如，心脏病死亡率已下降 50% 以上，像 GLP-1 激动剂这样的简单干预已经在对抗肥胖和糖尿病方面取得了巨大进步。
生物学自由。过去 70 年见证了在生育控制、生育能力、体重管理等方面的进步。但我怀疑 AI 加速的生物学将极大扩展可能性：体重、外貌、繁殖和其他生物学过程将完全受人们控制。我们将这些统称为 生物学自由：每个人都应该被赋予选择成为自己想成为的人并以最吸引他们的方式生活的权力。当然，全球获取平等的重要问题也将出现；具体细节见第 3 节。
人类寿命翻倍18。 这看起来可能很激进，但在 20 世纪，预期寿命几乎增加了 2 倍（从约 40 岁增加到约 75 岁），因此，“压缩的 21 世纪”将其再次翻倍至 150 岁是“趋势所趋”。显然，减缓实际老化过程所涉及的干预措施将不同于上个世纪为防止（主要是儿童）因疾病而过早死亡所需的措施，但变化的幅度并非史无前例19。具体来说，已经存在增加老鼠最大寿命 25-50% 的药物，且副作用有限。有些动物（例如某些类型的乌龟）已经能活 200 年，所以显然人类并未达到某种理论上的上限。可以猜想，可能需要的最重要的事情可能是可靠的、不受 Goodhart 定律影响的人类老化生物标志物，因为这将允许在实验和临床试验上快速迭代。一旦人类寿命达到 150 岁，我们可能能够达到“逃逸速度”，为大多数今天仍然活着的人购买足够的时间，让他们能够活得像他们想要的那样长，尽管这在生物学上是可能的并没有任何保证。

值得审视这份列表并反思，如果这一切在从现在起 7-12 年内实现（这将符合一个激进的 AI 时间线），世界将会有多么不同。不用说，这将是一场难以想象的人道主义胜利，一次性消除了数千年来困扰人类的大多数灾难。我的许多朋友和同事都在抚养孩子，当那些孩子长大后，我希望任何提到疾病的话题对他们来说，将会像我们听到坏血病、天花或黑死病一样。那一代人还将从增加的生物自由和自我表达受益，并且好运的话，也可能能够活得像他们想要的那样长。

很难高估这些变化对除了期待强大 AI 的小社区之外的所有人来说将是多么令人惊讶。例如，目前成千上万的经济学家和政策专家在美国就如何保持社会保障和医疗保险的偿付能力以及更广泛地如何降低医疗保健成本（主要由 70 岁以上的老年人，特别是患有癌症等终末期疾病的人消费）进行辩论。如果所有这些成为现实，这些项目的情况可能会有很大改善，因为工作年龄与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将会被其他挑战所取代，例如如何确保广泛地获得新技术的访问，但即使生物学是唯一一个被 AI 成功加速的领域，反思世界将发生巨大变化也是值得的。

2. 神经科学与心灵

在前一节中，我专注于_物理_疾病和生物学总体，并没有涉及神经科学或心理健康。但神经科学是生物学的一个子学科，且心理健康和身体健康一样重要。实际上，如果说有什么区别的话，心理健康比身体健康更直接影响人类的幸福感。数亿人由于上瘾、抑郁、精神分裂、低功能自闭症、创伤后应激障碍（PTSD）、精神病态21 或智力障碍等问题而生活质量极低。还有更多人在日常问题上挣扎，这些问题通常可以被解释为这些严重临床障碍的某种程度较轻的版本。就像在一般生物学中一样，这里也可能不仅仅是解决问题，还能提高人类体验的基线质量。

我为生物学制定的基本框架同样适用于神经科学。这个领域由少数发现推动着前进，这些发现经常与测量工具或精确干预方法有关——在上面列出的那些中，光遗传学是一个神经科学的发现，而最近的 CLARITY 和扩展显微镜术是同一领域的进展，许多一般的细胞生物学方法也直接应用于神经科学。我认为这些进展的速度将因 AI 而加速，因此“在 5-10 年内取得 100 年的进步”这一框架同样适用于神经科学，原因也相同。就像在生物学中一样，20 世纪神经科学的进展是巨大的——例如，我们甚至直到 1950 年代才理解神经元是如何或为何发射的。因此，预计 AI 加速的神经科学将在几年内取得快速进展似乎是合理的。

有一件事我们应该在这个基础图景中增加，那就是我们在过去几年中了解到的（或正在了解的）关于 AI 本身的一些事情可能会帮助神经科学的进展，即使它继续只由人类来完成。可解释性就是一个明显的例子：尽管生物神经元表面上以一种完全不同的方式运作（它们通过尖峰进行通信，通常是尖峰率，因此存在一个不在人工神经元中的时间元素，而且与细胞生理学和神经递质有关的一系列细节大幅修改了它们的运作方式），但是“如何让分布式的、经过训练的简单单元网络通过执行组合线性/非线性操作共同完成重要计算”这一基本问题是相同的，我强烈怀疑，在大多数关于计算和电路的有趣问题中，单个神经元通信的细节将被抽象掉。作为此的一个例子，解释性研究人员在 AI 系统中发现的一个计算机制最近在老鼠的大脑中被重新发现。

与真实的神经网络相比，对人工神经网络进行实验要容易得多（后者通常需要切开动物大脑），因此可解释性很可能成为改善我们对神经科学理解的工具。此外，强大的 AI 自身可能比人类能更好地开发和应用这一工具。

不过，除了可解释性之外，我们从 AI 中学到的关于智能系统是如何_训练_的，应该（虽然我不确定它_已经_做到了）在神经科学中引起一场革命。当我在神经科学领域工作时，很多人专注于我现在认为的错误的关于学习的问题，因为那时规模假说 / 苦涩的教训的概念还不存在。一个简单的目标函数加上大量数据可以驱动极其复杂的行为这一观点让理解目标函数和架构偏见变得更加有趣，理解出现的计算细节变得不那么有趣。我最近几年没有紧密跟踪该领域，但我模糊感觉到计算神经科学家们还没有完全吸收这一教训。我对规模假说的态度一直是“啊哈——这是智力工作方式以及它如此容易进化的高层次解释”，但我不认为这是平均神经科学家的看法，部分原因是即使在 AI 内部，将规模假说视为“智力的秘密”也并未完全被接受。

我认为神经科学家应该尝试将这一基本洞察与人脑的特殊性（生物物理限制、进化史、拓扑结构、运动和感官输入/输出的细节）结合起来，以试图解决一些神经科学的关键谜题。可能已经有一些人在做了，但我怀疑这还不够，人工智能神经科学家将能够更有效地利用这一角度来加速进展。

我预计人工智能将通过四条不同的途径加速神经科学的进展，所有这些途径都可以希望共同工作，治愈精神疾病并提高功能：

传统的分子生物学、化学和遗传学。这本质上与第一节中的通用生物学相同，人工智能可能通过相同的机制加速它。有许多药物通过调节神经递质来改变大脑功能、影响警觉性或感知、改变心情等等，人工智能可以帮助我们发明更多。人工智能可能还能加速关于精神疾病遗传基础的研究。
精细的神经测量和干预。这是测量许多单个神经元或神经回路正在做什么，并干预以改变它们行为的能力。光遗传学和神经探针是能够在活体有机体中进行测量和干预的技术，许多非常先进的方法（如用来读出大量单个神经元的射频模式的分子计时带）也已被提出，原则上似乎是可行的。
高级计算神经科学。如上所述，现代人工智能的特定洞察力和整体感观或许可以有益地应用于系统神经科学中的问题，包括可能揭示复杂疾病如精神病或情绪障碍的真正原因和动态。
行为干预。鉴于我之前主要关注神经科学的生物学方面，我并没有过多提及心理学和精神病学当然也在 20 世纪开发了广泛的行为干预手段；理所当然地，AI 也能在这些领域加速进步，无论是开发新方法还是帮助患者坚持现有的方法。更广泛地说，一个始终帮助你成为最好版本的“AI 教练”，研究你的互动并帮助你学会更有效的想法，看起来非常有前途。

我猜想，这四个进展路径的共同作用，如同在物质疾病方面一样，即使没有 AI 的参与，在接下来的 100 年里也可能走上治愈或预防大多数精神疾病的轨道——因此，可能在 5-10 年的 AI 加速下完成。具体而言，我猜测会发生的事情如下：

大多数精神疾病可能会被治愈。我不是精神病学的专家（我在神经科学领域的工作是构建探针来研究小群体的神经元），但我猜测像 PTSD、抑郁症、精神分裂症、上瘾等疾病可以通过上述四个方向的某种组合得到解决和非常有效的治疗。答案可能是“生化方面出了问题”（尽管可能非常复杂）和“神经网络在高层次出了问题”的某种组合。也就是说，这是一个系统神经科学的问题——尽管这并不否定上述讨论的行为干预的影响。特别是在活人身上，用于测量和干预的工具似乎可能导致快速迭代和进步。
那些非常“结构性”的状况可能更难处理，但并非不可能。有一些证据表明，精神病患者的大脑结构存在明显差异——某些脑区简直是更小或发育不全。精神病患者也被认为从小就缺乏同情心；无论他们的大脑有何不同，很可能一直都是那样。某些智力障碍和其他状况也可能是如此。重构大脑听起来很难，但这似乎也是一个智能回报高的任务。也许有某种方法可以诱使成年大脑回到更早或更具可塑性的状态，从而可以重新塑造。我对这是否可能感到非常不确定，但我的直觉是对 AI 在这里能发明的东西保持乐观态度。
有效的基因预防精神疾病似乎是可能的。大多数精神疾病是部分遗传的，基因组全面关联研究已经开始取得进展，在识别相关因素方面，这些因素往往是多个的。通过胚胎筛选，预防这些疾病大多数可能是可行的，类似于身体疾病的情况。不同之处在于，精神病更可能是多基因的（许多基因共同作用），因此由于复杂性，选择过程中有不知不觉地选择对抗与疾病相关的正面特质的增加风险。然而奇怪的是，近年来 GWAS 研究似乎表明这些相关性可能被夸大了。无论如何，AI 加速的神经科学可能帮助我们搞清楚这些事情。当然，对复杂特征进行胚胎筛选会引起许多社会问题，并将引起争议，尽管我猜大多数人可能会支持筛选严重或致残的精神疾病。
我们并不认为是临床疾病的日常问题也将得到解决。我们中的大多数人都有日常心理问题，这些问题通常不被认为达到了临床疾病的程度。有些人容易愤怒，其他人注意力难以集中或经常昏昏欲睡，有些人害怕或焦虑，或对变化反应不良。如今，已经存在药物来帮助提高警觉性或集中注意力（如咖啡因、莫达非尼、利他林），但就像许多其他先前的领域一样，可能还有更多可能性。可能还有更多此类药物尚未被发现，也可能存在全新的干预方式，如针对性光刺激（见上文的光遗传学）或磁场。鉴于我们在 20 世纪开发了许多调节认知功能和情绪状态的药物，我对“压缩的 21 世纪”充满乐观，届时每个人都能让大脑表现得更好，拥有更加充实的日常经历。
人类基线体验可以更好。更进一步，许多人体验过揭示、创造性灵感、同情、成就、超越、爱、美或冥想平和的非凡时刻。这些体验的性质和频率因人而异，同一个人在不同时间内也有很大不同，而且有时也可以通过各种药物触发（尽管经常伴随副作用）。所有这些都表明，“可能体验到的空间”非常广阔，人们生活中的这些非凡时刻可能占的比例更大。可能也可以全面改善各种认知功能。这或许是神经科学版的“生物自由”或“延长寿命”。

一个在科幻描绘的 AI 中经常出现的话题，但我在这里故意没有讨论的，是“意识上传”，即捕捉人脑的模式和动态，并在软件中实例化它们的想法。这个话题本身就可以是一篇长篇大论，但足以说，尽管我认为上传在原理上几乎肯定是可能的，但在实践中它面临着重大的技术和社会挑战，即便有强大的 AI，这些挑战也可能让它在我们讨论的 5-10 年窗口之外。

总之，AI 加速的神经科学很可能会极大改善或甚至治愈大多数精神疾病，同时大大扩展“认知和精神自由”以及人类的认知和情感能力。它将和之前章节描述的身体健康的改善一样激进。也许世界在外观上不会有明显不同，但人类体验的世界将是一个更好、更人性化的地方，同时也是一个为自我实现提供更大机会的地方。我还怀疑，改善的心理健康将缓解许多其他社会问题，包括那些看似政治或经济的问题。

3. 经济发展与贫困

前两节内容讨论了开发治愈疾病和改善人类生活质量的新技术。然而，从人道主义角度出发，一个显而易见的问题是：“每个人都能够获得这些技术吗？”

开发一种疾病的治疗方法是一回事，将这种疾病从世界上根除则是另一回事。更广泛地说，许多现有的健康干预措施尚未在世界各地得到应用，同样的情况也适用于（非健康）技术改进。换句话说，世界上许多地区的生活标准仍然极其贫困：人均 GDP 在撒哈拉以南非洲约为 2,000 美元，而在美国约为 75,000 美元。如果人工智能进一步增加了发达国家的经济增长和生活质量，而对发展中国家几乎没有帮助，我们应该将这视为一个可怕的道德失败，也是对前两节中真正的人道主义胜利的玷污。理想情况下，强大的人工智能应该帮助发展中国家赶上发达国家，即使它正在彻底改变后者。

我对人工智能能够解决不平等和经济增长问题的信心不如它能够发明基础技术，因为技术对智能（包括规避复杂性和数据缺失的能力）有如此明显的高回报，而经济涉及很多来自人类的约束，以及大量固有的复杂性。我对人工智能能解决著名的“社会主义计算问题”23持有一定的怀疑态度，我不认为政府会（或应该）将他们的经济政策交给这样的实体，即使它能够做到。还有一些问题，比如如何说服人们接受那些有效但他们可能会怀疑的治疗方法。

发展中国家面临的挑战因为普遍的腐败在私营和公共部门中变得更加复杂。腐败创造了一个恶性循环：它加剧了贫困，而贫困反过来又滋生了更多的腐败。AI 驱动的经济发展计划需要考虑到腐败、机构薄弱以及其他非常人性化的挑战。

然而，我确实看到了乐观的理由。疾病_已经_被根除，许多国家_已经_从贫穷变成了富裕，而且很明显，这些任务中涉及的决策表明对智能的回报很高（尽管存在人类的局限性和复杂性）。因此，AI 很可能比现在的情况做得更好。也可能有一些针对性的干预措施可以绕过人类的局限性，而 AI 可以专注于这些措施。更重要的是，_我们必须_去尝试。无论是 AI 公司还是发达国家的政策制定者都需要尽自己的一份力，以确保发展中国家不被遗忘；道德的要求太高了。因此，在本节中，我将继续提出乐观的论点，但请记住，成功不是有保障的，它依赖于我们的集体努力。

以下是我对强大 AI 开发后 5-10 年内发展中国家可能会发生的一些预测：

健康干预措施的分发。我最乐观的领域或许是将健康干预措施传播到世界各地。实际上，疾病已经通过自上而下的运动被根除：天花在 1970 年代被完全消灭，脊髓灰质炎和几内亚蠕虫病也接近被根除，每年的病例少于 100 例。数学上复杂的流行病学建模在疾病根除运动中发挥了积极作用，智能超人的 AI 系统很可能比人类做得更好。分发的物流也可以大大优化。我作为 GiveWell 早期捐赠者了解到的一件事是，一些健康慈善组织比其他组织更有效；希望 AI 加速的努力会更加有效。此外，一些生物学上的进步实际上使得分发的物流变得更加简单：例如，疟疾一直难以根除，因为每次患病时都需要治疗；只需接种一次的疫苗使得物流变得简单得多（事实上，这样的疟疾疫苗目前正在开发中）。甚至更简单的分发机制也是可能的：原则上，一些疾病可以通过针对它们的动物载体来根除，例如释放被细菌感染的蚊子，这种细菌阻止它们的传播能力，然后感染所有其他蚊子，或简单地使用基因驱动来消灭蚊子。这需要一次或几次集中行动，而不是必须单独治疗数百万人的协调运动。总的来说，我认为 5-10 年是强大 AI 驱动的健康益处传播到世界上最贫穷国家的一个合理的时间线，可能 50% 的部分。一个好的目标可能是让发展中国家在强大 AI 出现后的 5-10 年至少变得比今天的发达世界更健康，即使它继续落后于发达世界。当然，实现这一目标将需要在全球卫生、慈善、政治宣传和许多其他领域做出巨大努力，AI 开发者和政策制定者都应该提供帮助。
经济增长。发展中国家能否快速赶上发达国家，不仅在健康方面，而且在经济方面全面迎头赶上？这方面有一些先例：在 20 世纪的最后几十年中，几个东亚经济体实现了持续的约 10% 的年度实际 GDP 增长率，使它们能够赶上发达世界。人类经济计划者通过并不直接控制整个经济体而是通过调动一些关键杠杆（例如以出口导向型增长的工业政策，以及抵制依赖自然资源财富的诱惑）做出的决策，导致了这一成功；“AI 财政部长和中央银行家”复制或超越这 10% 的成就是可行的。一个重要的问题是如何在尊重自决原则的同时，让发展中国家政府采纳它们——有些可能会对此感到热情，但其他一些可能会持怀疑态度。从乐观的角度来看，前一个要点中提到的许多健康干预措施很可能自然增加经济增长：消除艾滋病 / 疟疾 / 寄生虫会对生产力产生变革性影响，更不用说某些神经科学干预措施（如情绪和注意力的改善）将在发达国家和发展中国家产生的经济效益了。最后，非健康类的 AI 加速技术（如能源技术、运输无人机、改进的建筑材料、更好的物流和分配等）可能会自然地渗透到世界各地；例如，即使是手机也通过市场机制迅速渗透到撒哈拉以南非洲，而无需慈善努力。从更消极的角度来看，尽管 AI 和自动化具有许多潜在的好处，它们也为经济发展带来了挑战，特别是对于那些尚未实现工业化的国家。寻找确保这些国家能够在日益增长的自动化时代仍然发展和改善经济的方式，对经济学家和政策制定者来说是一个重要的挑战。总的来说，梦想场景——或许是一个值得追求的目标——将是发展中国家 20% 的年度 GDP 增长率，其中 10% 来自于 AI 使能的经济决策和自然传播的 AI 加速技术，包括但不限于健康领域。如果实现，这将使撒哈拉以南非洲在 5-10 年内达到当前中国的人均 GDP，同时使世界上大部分其他发展中国家的水平高于当前美国 GDP。再次强调，这是一个梦想场景，而不是默认情况：这是我们所有人必须共同努力使之更有可能实现的目标。
粮食安全 24。20 世纪，作物技术的进步，如更好的化肥和杀虫剂、更多的自动化、以及更高效的土地利用，极大地提高了作物产量，拯救了数百万人免于饥饿。遗传工程目前正在进一步改善许多作物。找到更多这样的方法——以及使农业供应链更加高效——可能会带给我们一个 AI 驱动的第二次绿色革命，帮助缩小发展中国家和发达国家之间的差距。
减轻气候变化。气候变化在发展中国家的影响将会更加明显，妨碍其发展。我们可以期待 AI 会带来减缓或阻止气候变化的技术进步，从大气碳移除和清洁能源技术，到减少我们对碳密集型工厂农业依赖的实验室培养肉。当然，如上所述，技术并不是阻碍气候变化进展的唯一因素——与本文讨论的其他问题一样，人类社会因素很重要。但有充分的理由认为，AI 增强的研究将使我们能够以远低于当前成本和破坏性的方式减轻气候变化，消除许多反对意见，让发展中国家能够取得更多的经济进展。
国内不平等。我主要讨论的是全球范围内的不平等（我确实认为这是它最重要的表现形式），但当然，不平等也存在于国家_内部_。通过先进的健康干预措施，特别是在寿命的大幅增加或认知增强药物方面，肯定会有合理的担忧，认为这些技术“只为富人所拥有”。对于发达世界国家内部的不平等，我比较乐观，有两个原因。首先，市场在发达世界运作得更好，而市场通常擅长随着时间的推移降低高价值技术的成本25。其次，发达国家的政治机构对公民的反应更快，拥有更大的国家能力来执行普遍接入计划——我预计公民会要求获得那些能够根本性地改善生活质量的技术。当然，这样的需求是否能成功并不是预先确定的——在这里，我们作为一个集体必须尽一切可能确保公平的社会。在财富不平等（与获得救命和改善生活技术的不平等相对）的问题上存在一个单独的问题，这似乎更难，我将在第 5 节中讨论。
选择退出的问题。在发达国家和发展中国家中同样引发关注的一点是人们选择退出 AI 带来的好处（类似于反疫苗运动，或更广泛的卢德运动）。这可能会导致恶性反馈循环，例如，最不能做出明智决定的人选择退出正是能提高他们决策能力的技术，导致差距不断扩大，甚至造成一个反乌托邦的下层阶级（一些研究人员认为这将破坏民主，这是我在下一节进一步讨论的话题）。这将再次给 AI 的积极进展带来道德污点。解决这个问题很难，因为我认为强迫人们不是道德上可接受的，但我们至少可以尝试增加人们的科学理解——或许 AI 本身就可以帮助我们做到这点。一个令人有希望的迹象是，从历史上看，反技术运动咆哮声大于实际效果：反对现代技术很受欢迎，但大多数人最终会接受它，至少在个人选择的情况下是如此。个人往往会接受大多数健康和消费技术，而真正受阻的技术，如核能，往往是集体政治决策的结果。

总的来说，我对于迅速将 AI 的生物学进步带给发展中国家的人民持乐观态度。我希望，尽管不确定，AI 也可以实现史无前例的经济增长率，并允许发展中国家至少超越现在的发达世界。我对发达国家和发展中国家的“选择退出”问题感到担忧，但怀疑这种情况会随着时间的推移而逐渐消失，而 AI 可以帮助加速这一过程。这不会是一个完美的世界，那些落后的人不会完全赶上，至少在最初的几年内不会。但是，通过我们的努力，我们或许能够让事情朝着正确的方向快速发展。如果我们做到了，我们至少可以对我们欠下的每一个地球上的人应得的尊严和平等的承诺，提前做出一部分兑现。

4. 和平与治理

假设前三节中的一切都进展顺利：疾病、贫穷和不平等都得到了显著减少，人类经验的基准也大幅提高。这并不意味着解决了所有主要的人类苦难原因。人类仍然是彼此的威胁。尽管有科技进步和经济发展带来民主与和平的趋势（参见），但这是一个非常松散的趋势，频繁出现（并且近期）倒退。在 20 世纪初，人们认为他们已经把战争抛在了身后；然后发生了两次世界大战。三十年前，弗朗西斯·福山谈论了“历史的终结”以及自由民主制的最终胜利；这还没有发生。二十年前，美国政策制定者相信，与中国的自由贸易会随着中国变得更富有而导致其自由化；这完全没有发生，我们现在似乎正走向与复兴的威权集团的第二次冷战。有可信的理论表明，互联网技术可能实际上有利于威权主义，而不是像最初相信的那样（例如，在“阿拉伯之春”期间）有利于民主。理解强大的 AI 将如何与和平、民主和自由这些问题相交叉似乎很重要。

不幸的是，我没有充分的理由相信 AI 会优先或在结构上推进民主和和平，就像我认为它会在结构上促进人类健康和减轻贫困一样。人类冲突是敌对的，原则上 AI 可以帮助“好人”和“坏人”。如果说有什么令人担忧的结构性因素的话：AI 似乎很可能使宣传和监视变得更加高效，这两者都是独裁者工具箱中的主要工具。因此，把事情朝着正确的方向推进取决于我们作为个体的行动：如果我们想要 AI 倾向于民主和个人权利，我们就必须为这一结果而战。我对此的感受比对国际不平等问题更为强烈：自由民主和政治稳定的胜利并_不_是有保障的，甚至可能不太可能，而且将需要我们所有人的巨大牺牲和承诺，就像过去经常发生的那样。

我认为这个问题有两个部分：国际冲突和国家内部结构。在国际方面，当强大的 AI 被创建时，民主国家在世界舞台上占据上风似乎非常重要。AI 驱动的威权主义似乎是太可怕了，因此民主国家需要能够设定强大 AI 引入世界的条款，既要避免被威权主义者压倒，也要防止在威权国家内部发生人权滥用。

目前，我认为实现这一目标的最佳方式是通过一种“协约策略”[^26]，其中一系列民主国家寻求通过确保其供应链、迅速扩展，并阻止或延迟对手获取芯片和半导体设备等关键资源的访问，来获得（哪怕是暂时的）在强大 AI 上的明显优势。这个联盟一方面将使用 AI 实现坚实的军事优势（硬实力），同时又提出将强大 AI 的好处（软实力）分发给越来越多的国家，以换取他们支持联盟促进民主的策略（这有点类似于“和平原子”）。联盟的目标是获得世界上越来越多国家的支持，孤立我们最坏的对手，并最终让他们处于这样一种境地：放弃与民主国家的竞争，以获得所有好处，而不是与一个更强大的敌人作战。

如果我们能做到这一切，我们将拥有一个世界，在这个世界上，民主国家在世界舞台上领先，并拥有避免被专制国家破坏、征服或破坏的经济和军事力量，并且可能能够将他们的 AI 优势转化为持久的优势。这可能乐观地导致一个“永恒的 1991 年”——一个民主国家占据上风，福山的梦想得以实现的世界。同样，这将非常难以实现，特别需要私营 AI 公司和民主政府之间的紧密合作，以及在软硬实力之间做出极为明智的决策。

即使一切进展顺利，这还留下了每个国家内部民主与专制之间斗争的问题。很明显，这里的发展很难预测，但我对一个全球环境下的民主控制最强大的 AI 具有一些乐观态度，那么 AI 实际上可能在结构上偏向于全球各地的民主。特别是，在这种环境下，民主政府可以利用它们更强大的 AI 赢得信息战：它们可以反制专制国家的影响力和宣传行动，甚至可能能够通过提供信息渠道和 AI 服务以一种专制国家缺乏技术能力阻止或监控的方式，创建一个全球自由的信息环境。可能没有必要传播宣传，只需反击恶意攻击并解除信息自由流通的阻碍。虽然不是立即的，但这样一个公平的竞争环境很有可能逐渐使全球治理朝向民主倾斜，原因有几个。

首先，第 1-3 节中生活质量的提高应该在所有事情平等的情况下促进民主：从历史上看，它们至少在某种程度上做到了这一点。特别是我期望在心理健康、幸福感和教育方面的改进会增加民主，因为这三者都与对威权领导者的支持负面相关。一般来说，当人们的其他需要得到满足时，他们想要更多的自我表达，而民主在其他方面也是一种自我表达的形式。相反，威权主义在恐惧和怨恨上蓬勃发展。

其次，只要威权主义者不能对它进行审查，自由信息真的有很大的机会破坏威权主义。不受审查的 AI 也可以为个人提供强大的工具以破坏压迫性政府。压迫性政府通过否认人们某种共同知识而生存，让他们意识不到“皇帝没穿衣服”。例如 Srđa Popović，他帮助推翻了塞尔维亚的米洛舍维奇政府，并广泛撰写关于心理上剥夺威权者权力的技巧，为打破魔咒和召集支持反对独裁者的支持。一个超人类有效的 AI 版本的 Popović（他的技能似乎对智力的回报率很高）在每个人的口袋中，一个独裁者无力阻止或审查的，可以为全世界的异议者和改革者创造顺风。再说一次，这将是一场漫长而旷日持久的战斗，胜利并不是有保证的，但如果我们以正确的方式设计和构建 AI，至少这可能是一场自由的倡导者们到处都有优势的斗争。

就像在神经科学和生物学领域一样，我们也可以询问事情如何能够做到“比正常情况更好”——不仅是如何避免专制，而且如何使民主制度比今天更加完善。即便在民主国家内部，不公正的情况也随时发生。法治社会向其公民承诺每个人在法律面前都是平等的，每个人都有基本人权，但显然人们在实践中并不总是能够获得这些权利。这个承诺即使部分实现，也令人自豪，但人工智能能帮助我们做得更好吗？

例如，人工智能能否通过使决策和流程更加公正，来改善我们的法律和司法系统？今天，人们在法律或司法语境中主要担心的是人工智能系统将成为歧视的原因，这些担忧是重要的，并需要防范。同时，民主的活力取决于利用新技术来改进民主制度，而不仅是应对风险。一个真正成熟和成功的人工智能实现，有潜力减少偏见，对每个人都更公平。

几个世纪以来，法律系统面临的困境在于，法律旨在保持公正，但本质上是主观的，因此必须由有偏见的人来解释。试图使法律完全机械化并未奏效，因为现实世界是混乱的，无法总是用数学公式捕捉。相反，法律系统依赖于诸如“残酷和不寻常的惩罚”或“完全没有救赎社会价值”这样人们口中的模糊标准，然后人们对这些标准进行解释——往往以展现偏见、偏爱或任意性的方式。加密货币中的“智能合约”并未因为普通代码不足以裁决太多有趣的事务而革新法律。但人工智能可能足够聪明：它是第一项能够以可重复和机械化的方式做出广泛、模糊判断的技术。

我并不是建议我们真的用 AI 系统来替代法官，但是将公正性与理解和处理混乱的、现实世界的情况的能力结合起来，感觉好像应该对法律和正义有一些真正积极的应用。至少，这样的系统可以作为辅助人类进行决策的工具。在这样的系统中，透明度是非常重要的，成熟的人工智能科学理论上可以提供这种透明度：这些系统的训练过程可以被广泛研究，并且可以使用高级解释性技术来查看最终模型的内部，以检查隐藏的偏见，这是对人类来说根本不可能的。这样的 AI 工具也可以用来监控司法或警察环境中基本权利的侵犯情况，使宪法更加自我执行。

同样地，AI 可以用来汇总公众意见并推动公民之间的共识，解决冲突，寻找共同点，寻求妥协。在这个方向上一些早期的想法已经由计算民主项目进行了尝试，包括与 Anthropic 的合作。一个更加明智和深思熟虑的公民群体显然会增强民主制度。

同样，利用 AI 帮助提供政府服务——如健康福利或社会服务——这本应面向所有人但实践中经常严重缺乏，而且在某些地方比其他地方更糟。这包括健康服务、机动车管理局、税收、社会保障、建筑规范执行等等。有一个非常周到且知识渊博的 AI，其工作是以你能理解的方式提供政府法律上赋予你的一切，同时也帮助你遵守经常让人困惑的政府规定，这将是一件大事。提高国家能力既有助于兑现法律下的平等承诺，也加强了对民主治理的尊重。目前，服务执行不力是对政府产生讽刺的一个主要驱动力27。

所有这些想法都有些模糊不清，正如我在本节开头所说，我对它们的可行性并没有像对生物学、神经科学和扶贫进展那样充满信心。它们可能是不切实际的乌托邦。但重要的是拥有一个雄心勃勃的愿景，愿意梦想并尝试。将 AI 视为自由、个人权利和法律下平等的保障者的愿景，是一个强大到不容放弃斗争的愿景。一个 21 世纪，由 AI 支持的政体，不仅可以更强有力地保护个人自由，还可以成为帮助让自由民主成为全世界所希望采纳的政府形式的希望灯塔。

5. 工作与意义

即使前四个部分中的所有事情都进展顺利——我们不仅缓解了疾病、贫困和不平等，自由民主也成为了主要的政府形式，现有的自由民主国家也变成了更好的自己——至少还有一个重要的问题仍然存在。“我们生活在这样一个技术先进以及公平和体面的世界里很棒，”有人可能会反对，“但如果 AI 做所有事情，人类如何拥有意义？就经济生存而言，又如何是好？”。

我认为这个问题比其他问题更难。我并不是说我对此必然比对其他问题更为悲观（尽管我确实看到了挑战）。我是说，由于它与宏观社会组织方式有关，这些方式往往只能随着时间在分散的方式中自行解决，因此这个问题更加模糊且难以预测。例如，历史上的狩猎采集社会可能会想象，没有狩猎和各种与狩猎相关的宗教仪式，生活就没有意义，他们也可能无法理解我们的经济是如何养活每个人的，或者人们在机械化社会中可以如何有用地服务。

尽管如此，至少说几句话还是有必要的，同时要记住，这一部分的简短绝不意味着我不严肃对待这些问题 —— 相反，这是缺乏明确答案的一个标志。

在意义的问题上，我认为认为你从事的任务无意义仅仅因为 AI 能做得更好是一个很可能的错误。大多数人并不是世界上最擅长任何事的人，这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并可能从他们产生的经济价值中获得意义，但人们也非常享受不产生经济价值的活动。我花了大量时间玩电子游戏、游泳、在户外散步和与朋友交谈，所有这些都产生零经济价值。我可能会花一天时间试图在视频游戏中变得更好，或者骑自行车上山更快，我并不真的在乎某个地方的某人在这些事情上做得更好。无论如何，我认为意义主要来自人际关系和连接，而不是来自经济劳动。人们确实想要成就感，甚至是竞争感，在后 AI 世界中，花费数年尝试一些非常困难的任务和复杂的策略将是完全可能的，类似于人们今天在开展研究项目、试图成为好莱坞演员或创办公司时所做的事情。事实上，（a）原则上某个 AI 能更好地完成这项任务，以及（b）这项任务不再是全球经济中获得经济奖励的元素，对我来说似乎并不十分重要。

经济部分对我来说实际上似乎比意义部分更难。在这一部分中，我所说的“经济”是指这样一个可能的问题：大多数或所有 人类可能无法在足够先进的 AI 驱动的经济中有意义地做出贡献。这是一个比不平等，特别是在新技术获取方面的不平等更宏观的问题，这是我在第 3 节讨论过的。

首先，从短期来看，我同意那些认为比较优势会继续保持人类的相关性并实际上提高他们的生产力，甚至在某些方面平衡人类之间的竞争的观点。只要 AI 只能做好某个工作的 90%，剩下的 10% 将使人类变得高度杠杆化，增加报酬，实际上创造了一大批新的人类工作，补充并增强 AI 擅长的工作，以至于“10%”扩展为几乎继续雇佣所有人。实际上，即使 AI 能够 100% 地比人类做得更好，但它在某些任务上仍然效率低下或昂贵，或者如果人类和 AI 的资源_输入_在意义上有所不同，那么比较优势的逻辑继续适用。在物理世界这一领域，人类很可能会保持相对（甚至是绝对的）优势较长的时间。因此，我认为即使在我们达到“在数据中心拥有一群天才”的那一刻之后，人类经济也可能继续是有意义的。

然而，我确实认为从长远来看，AI 会变得如此广泛有效且成本如此低廉，以至于这将不再适用。到那时，我们当前的经济设置将不再有意义，将需要进行更广泛的社会对话，讨论经济应该如何组织。

虽然这听起来可能很疯狂，但事实是，文明在过去成功地导航了重大的经济转变：从狩猎采集到农耕，农耕到封建制度，封建制度到工业化。我怀疑将需要一些新的、更奇异的东西，而且今天还没有人做好了充分的设想。它可能像是为每个人提供大量的基本收入那样简单，尽管我怀疑这只会是解决方案的一小部分。它可能是 AI 系统的资本主义经济，然后根据 AI 系统认为合理的基于某种次级经济的东西（基于从人类价值观最终导出的某种判断）向人类分发资源（巨额的资源，因为整体经济规模将是巨大的）。或许经济运行于 Whuffie 分数。或者说，人类在经济上毕竟会有价值，以一种通常的经济模型未能预见的方式。所有这些解决方案都有大量可能的问题，而且在没有大量迭代和实验的情况下，不可能知道它们是否有意义。与其他一些挑战一样，我们可能需要努力才能在这里获得一个好的结果：剥削性或反乌托邦的方向显然也是可能的，必须要防止。关于这些问题还有更多可以写的，我希望在未来的某个时候能够这样做。

盘点

通过上面的多个话题，我尝试勾勒出一个世界的愿景，如果 AI 的发展一切顺利，这个世界既可行又比今天的世界要好得多。我不知道这个世界是否现实，即便是现实，也不会在没有许多勇敢和奉献的人们巨大努力和奋斗的情况下实现。每个人（包括 AI 公司！）都需要尽自己的一份力，既要防范风险，也要充分实现好处。

但这是一个值得为之奋斗的世界。如果这一切真的在 5 到 10 年内发生——大多数疾病的战胜，生物学和认知自由的增长，数十亿人摆脱贫困享受新技术，自由民主和人权的复兴——我怀疑每个旁观者都会对它对他们产生的影响感到惊讶。我说的不仅仅是亲自从所有新技术中获益的体验，尽管那肯定会令人惊叹。我指的是看着一套长期持有的理想在我们所有人面前一次性实现的体验。我认为，许多人将会因此感动得流泪。

在写这篇文章的过程中，我注意到了一个有趣的紧张关系。从某种意义上说，这里勾勒出的愿景是极其激进的：这不是几乎任何人预期在下一个十年会发生的事情，很可能会被许多人视为荒唐的幻想。一些人甚至可能不认为它是可取的；它体现了不是每个人都会同意的价值观和政治选择。但与此同时，关于它有些东西是显而易见的——有些过于明显——好像许多不同的尝试去构想一个美好的世界不可避免地大致会引导我们来到这里。

在 Iain M. Banks 的《游戏玩家》(The Player of Games) 一书中29，主人公——一个来自被称为文化的社会的成员，这个社会基于与我在这里阐述的原则不相似——前往一个压迫性的、军国主义的帝国，在那里的领导权是通过一种复杂的战斗游戏的竞争来决定的。然而，游戏足够复杂，以至于玩家在其中的策略倾向于反映出他们自己的政治和哲学观点。主人公设法在游戏中打败了皇帝，表明他的价值观（文化的价值观）即使在一个以无情竞争和适者生存为基础的社会设计的游戏中也代表着一种赢的策略。斯科特·亚历山大（Scott Alexander）的一个知名帖子有着相同的论点——竞争是自我挫败的，倾向于导致一个基于同情和合作的社会。另一个类似的概念是“道德宇宙的弧线”。

我认为文化的价值观是一种制胜策略，因为它们是无数小决策的总和，具有明确的道德力量，并且倾向于让每个人团结在同一阵线上。基本的人性直觉，如公平、合作、好奇和自主，是难以反驳的，并且以一种我们更具破坏性的冲动往往做不到的方式累积起来。如果我们能阻止儿童因病死亡，很容易争辩说不应该让他们死去，从这一点出发很容易进一步争辩说，每个人的 孩子同样应该平等地享有这一权利。从这里不难争论说，我们应该团结起来，运用我们的智慧来实现这一结果。很少有人不同意，对于无故攻击或伤害他人的行为应该受到惩罚，从这里到认为惩罚应该在不同的人之间保持一致和系统，也不是难以跨越的一步。同样直观的是，人们应该对自己的生活和选择拥有自主权和责任。这些简单的直觉，如果得到逻辑上的彻底贯彻，最终会导向法治、民主和启蒙时代的价值观。如果不是不可避免的，那至少作为一个统计趋向，这是人类已经在走向的方向。人工智能只是提供了一个机会，让我们能够更快地到达那里——使逻辑更加清晰，目的地更加明确。

然而，这是一件超凡脱俗的美事。我们有机会扮演一些小角色，使其成为现实。

感谢 Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim McClave、Allan Dafoe 以及 Anthropic 的许多人审阅了这篇论文的草稿。

向 2024 年诺贝尔化学奖的获奖者们致敬，因为他们为我们所有人指明了方向。

脚注

https://allpoetry.com/All-Watched-Over-By-Machines-Of-Loving-Grace ↩
我确实预计少数人的反应会是“这很温和”。我认为这些人需要，用 Twitter 的话说，“接触一下现实”。但更重要的是，从社会的角度来看，温和是好事。我认为人们一次能处理的变化量有限，我所描述的节奏大概是社会能够在不经历极端动荡的情况下吸收的极限。 ↩
我认为 AGI 是一个不精确的术语，它积累了大量的科幻包袱和炒作。我更喜欢使用“强大的人工智能”或“专家级科学与工程”，这更能直接表达我的意思，而没有那些炒作。↩
在这篇文章中，我使用“智能”来指代一种可以跨领域应用的通用问题解决能力。这包括推理、学习、规划和创造性等能力。尽管我在整篇文章中使用“智能”作为简称，我认识到智能的本质是认知科学和人工智能研究中一个复杂且有争议的话题。一些研究者认为，智能并非单一、统一的概念，而是一系列独立的认知能力的集合。还有人认为，存在一个普遍的智能因素（g 因素）贯穿于各种认知技能之下。这是另一个讨论的话题。↩
这大致是当前人工智能系统的速度 —— 例如，它们可以在几秒钟内阅读一页文本，并且可能在 20 秒内写下一页文本，这是人类做这些事情速度的 10-100 倍。随着时间的推移，更大的模型倾向于使这个过程变慢，但更强大的芯片倾向于使其加快；到目前为止，这两种效应大致抵消了。↩
这可能看起来像是一个稻草人立场，但像 Tyler Cowen 和 Matt Yglesias 这样的审慎思考者已经提出了这个严肃的担忧（虽然我不认为他们完全持有这一观点），我不认为这是疯狂的。↩
我所知的最接近于解决这个问题的经济学工作是关于“通用技术”和作为通用技术补充的“无形投资”的研究。↩
学习可以包括临时的、上下文中的学习或传统训练；两者都将受到物理世界的限制。↩
在一个混沌系统中，小错误会随着时间指数级增加，因此即使计算能力大幅度增加，也只能在预测范围上做出微小的改进，而在实践中测量误差可能会进一步降低这一改进。↩
另一个因素当然是强大的人工智能自身可能被用来创造更强大的人工智能。我的假设是这可能（实际上，很可能会）发生，但其效果将比你想象的要小，这正是因为这里讨论的“智能边际回报递减”。换言之，人工智能会继续快速变得更聪明，但其效果最终将受到非智能因素的限制，而分析这些因素对于研究 AI 之外的科学进步速度最为重要。↩
这些成就对我来说一直是一个鼓舞，或许是人工智能被用来改变生物学的最强有力的现有例证。↩
“科学的进步依赖于新技术、新发现和新观念，大概按这个顺序。” – Sydney Brenner ↩
感谢 Parag Mallick 提出这一点。↩
我不想用关于人工智能加速科学可能实现的特定未来发现的猜测来阻塞文本，但这里有一些可能性的头脑风暴：
— 设计更好的计算工具，如 AlphaFold 和 AlphaProteo — 也就是，一个通用人工智能系统加速我们制作专门的人工智能计算生物学工具的能力。
— 更高效和选择性的 CRISPR。
— 更先进的细胞疗法。
— 材料科学和微型化突破，带来更好的植入式设备。
— 在干细胞控制、细胞分化及去分化方面的更好控制，以及由此产生的重新生长或重塑组织的能力。
— 更好的免疫系统控制：选择性地激活它以应对癌症和传染病，以及选择性地关闭它以应对自身免疫性疾病。↩
人工智能当然也可能在选择哪些实验进行方面提供帮助：改进实验设计，在第一轮实验中学到更多，以便第二轮实验可以聚焦关键问题，等等。↩
感谢 Matthew Yglesias 提出了这一点。↩
像是多重耐药菌株这类快速进化的疾病，本质上使用医院作为进化实验室，持续提高对治疗的抵抗力，特别难以处理，可能正是这类事情阻止我们达到 100% 的原因。↩
需要注意的是，我们可能很难知道在 5-10 年内人类寿命已经翻倍。虽然我们可能已经实现了这一目标，但在研究的时间范围内，我们可能还未能知晓。↩
这是一个我愿意，尽管治疗疾病和减缓衰老进程在生物学上有明显不同，但我宁愿从更大的距离观察统计趋势，并说“即使细节不同，我认为人类科学可能会找到方法继续这一趋势；毕竟，在任何复杂事物中，平稳的趋势必然是由非常异质的组件组成的。”↩
举个例子，我被告知，每年生产率增长 1% 甚至 0.5% 将在与这些项目相关的预测中起到变革性作用。如果这篇论文中考虑的想法得以实现，生产率的增长可能比这要大得多。↩
媒体喜欢描绘地位高的精神病患者，但普通的精神病患者可能是一个经济前景不佳，冲动控制能力差的人，最终在监狱中度过了相当长的时间。↩
我认为这与我们从可解释性中学到的许多结果可能在某种程度上类似，尽管可能不全面，即使我们当前人工神经网络的一些架构细节，如注意力机制，在某种程度上被改变或替换，这些结果仍然具有相关性。↩
我怀疑这有点像一个典型的混沌系统 —— 受到不可简化复杂性的困扰，必须以一种大多是去中心化的方式来管理。尽管正如我稍后在本节中所说，更适度的干预可能是可能的。经济学家 Erik Brynjolfsson 向我提出的一个反对观点是，大公司（如沃尔玛或优步）开始拥有足够的集中知识来比任何去中心化过程更好地了解消费者，这或许迫使我们修正哈耶克的见解关于谁拥有最佳的本地知识。↩
感谢 Kevin Esvelt 提出这一点。↩
例如，手机最初是为富人设计的技术，但很快就因年复一年的改进而变得非常便宜，以至于购买“奢侈”手机的优势迅速消失，如今大多数人拥有的手机质量相似。↩
这是兰德公司即将发表的一篇论文的标题，大致阐述了我所描述的策略。↩
当普通人想到公共机构时，他们可能会想到他们与 DMV、IRS、医疗保险或类似职能的经历。使这些体验比现在更积极似乎是一个强有力的方式来对抗过度的愤世嫉俗。↩
的确，在一个由 AI 驱动的世界中，这样的挑战和项目的范围将比今天广泛得多。↩
我违反了自己不把这件事和科幻联系起来的规则，但我发现很难不至少稍微提一下它。事实是，科幻是我们关于未来进行广泛思维实验的唯一来源之一；我认为它与一个特定的狭窄亚文化如此重度交织在一起，这说明了一个不好的现象。↩

2024年10月20日

In 好文翻译