原文：https://x.com/WilliamBryk/status/1871946968148439260
作者：Will Bryk
译者：Claude 3.5 Sonnet
编者注：这是一篇关于 AGI（通用人工智能）即将到来的深度思考文章。作者从 o3 的突破性进展谈起，探讨了未来 1-3 年 AI 发展可能带来的巨大变革：1) 数学家可能在 700 天内被 AI 超越，2) 软件工程师将获得 10 倍生产力提升，3) 物理工作者的变革相对较慢，4) AI 实验室之间的竞争将更加激烈。作者认为，人类社会即将迎来翻天覆地的变化，但最大的风险不是 AI 本身，而是人类如何使用 AI。文章呼吁我们共同努力，确保这场变革朝着积极的方向发展。
我本周和几个朋友讨论了 o3。他们的反应可以概括为"天哪，这真的要发生了吗？"
是的，这确实正在发生。接下来的几年将会疯狂。这是具有历史意义的时刻，甚至可以说是具有银河系级别的意义。
荒谬的是，对于正在发生的事情却没有深入的讨论。AI 实验室不能谈论它。新闻媒体几乎不涉及。政府也不理解它。
通过社交媒体 meme 应用的信息流来讨论人类的未来，这感觉就像某个荒诞的情境喜剧，但我们确实身处其中。
以下是我对正在发生的事情的一些思考 —— 这是我对 X 平台思想深渊的贡献。
注意，这些想法都是半成品和有趣的推测。我没有足够的时间去思考/研究所有这些内容，而且我的很多观点可能是错误的。但我希望这些想法能对那些试图理解当前形势的人们有所启发。
Enjoy。
- o3 的出现本不应该令人震惊。OpenAI 两个月前就向我们展示了测试时间的扩展图表，而计算机的历史告诉我们要相信这些趋势线，无论它们看起来多么难以置信。真正令人震惊的是它在 2 个月内就实现了。我们从大学水平的 AI 到博士水平的 AI 只用了这么短的时间。对人类来说，变化是令人兴奋的，但快速变化则令人震惊。
- 接下来会发生什么是相当明显的。o3 级别的模型在优化任何你能定义奖励函数的任务方面都非常出色。数学和编程的奖励函数相对容易设计。小说写作则较难。这意味着在短期内（1 年），我们将获得能力不均衡的模型。它们在数学、编程和一般推理方面将达到接近 AGI 的水平，但在写作小说时仍显得平庸。虽然更好的推理能力会让模型在各个方面都显得更智能，但它们仍然会在那些没有经过强化学习训练的领域犯一些愚蠢的错误 —— 即不在训练数据中的领域。从长远来看（1-3 年），我们会不断添加新的领域来进行强化学习训练（情感数据、感知数据等），直到这些盲点被修补，然后这些模型对任何不是 Gary Marcus 的人来说都将明显是 AGI。
- 代理（Agents）真的会在 2025 年到来。o3 这样的模型不可能无法导航浏览器/应用程序并采取行动。这些任务的奖励模型很容易设计。这也是一个巨大的市场 —— 自动化计算机工作 —— 所以对于需要证明其巨额支出合理性的实验室来说，这是很大的激励。我猜到 2025 年 12 月，你就可以告诉你的电脑执行任何涉及导航网页/应用程序和移动数据的工作流程。
- 在所有"被颠覆"的知识分子中，数学家可能是最严重的。数学家在符号空间中工作。他们的工作与物理世界几乎没有接触，因此不会受到物理世界的限制。LLM 是符号空间的王者。数学本身并不难，只是灵长类动物不擅长而已。正则表达式也是如此。
一个重要的问题是，制作研究级别的合成数据会有多难。我猜不会太难。博士级数学和研究员级数学对我们来说在质量上看起来不同，但对 AI 来说可能本质上是一样的，只是需要多几个量级的强化学习。我给数学家 700 天时间。（这听起来很疯狂，但 o6 不能击败数学家听起来同样疯狂，所以我对这个预测的信心超过 50%，就像这篇文章中的其他预测一样）。这意味着 700 天后，人类将不再是已知宇宙中数学领域的最高统治者。
- 那我们软件工程师呢？短期内这将是天堂。每个软件工程师都刚刚被提升为技术主管，干得漂亮。对于那些充分采用 LLM 的人来说，到 2025 年底，编码将更像是协调一群小代理去执行各种小任务。任何有明确规范的 PR 都应该能被 o4 系统完成，错误率小到可以接受。这里的一个问题可能是上下文窗口太小，无法容纳整个代码库，但像 Sam 这样的领导者都很清楚这一点。
AI 会很快取代所有软件工程师吗？不会。软件工程不仅仅是根据超清晰的提示制作 PR。与数学家不同，软件工程师需要不断与物理世界打交道，主要是与其他人类。工程师需要与客户合作以理解他们的需求，与团队成员合作以理解他们的需求。当工程师设计架构或编写代码时，他们是带着大量组织背景来做这件事的。o4 无法做到这一点。但 o4 将帮助那些拥有背景知识的工程师提高 10 倍的效率。
如果软件工程师的效率提高了 10 倍，那么我们是否需要更少的人？好吧，如果你看特定的公司，那么是的，他们可能需要更少的软件工程师，因为他们可以用更精简的团队实现相同的产出。然而，整个世界对软件工程师的需求可能会上升，因为世界肯定可以使用 10 倍更多的优质软件。所以我认为我们将看到更精简公司带来的应用程序黄金时代。为每个人和企业提供个性化的微应用。
- 从长远来看（>2 年被认为是长期，笑），软件工程将完全不同，很难说会是什么样子。当 o6 系统存在并完全集成到我们的应用程序中时，怎么可能不改变呢？像前端工程师这样的角色可能在 3 年内就不存在了。这很奇怪吗？不会 —— 30 年前前端工程师这个角色也不存在。
我们应该退一步认识到，软件每一代都会彻底改变自己。软件一直都是关于将需求转换为纯逻辑。这个转换过程的抽象层次已经从二进制提升到了 Python。现在的区别是它正在提升到英语。
转向英语使编码向非技术人员开放。但最好的建设者仍然是那些能够在抽象层次之间自如移动的人。
简而言之，因为软件工程实际上都是关于通过代码理解和解决组织的需求，所以软件工程完全自动化的那一天就是所有组织都自动化的那一天。
- 我们已经讨论了一些知识工作者，但物理工作者呢？AI 也会影响到你们，但速度会更慢，因为它必须处理重力和摩擦。但 o 级模型不会对机器人技术帮助那么大，因为需要一个小时的模型对工厂生产线上的机器人没有帮助。基础模型变得更智能确实有帮助，o 级模型将帮助训练这些模型，但我不认为这能解决机器人技术进步的最大瓶颈。我猜测最大的瓶颈是硬件改进和用于感知+行动的快速/可靠模型。这两者都需要更长时间来改进（即几年时间）。只有当机器人开始建造机器人，AI 开始进行 AI 研究时，机器人技术才会出现疯狂的快速进步。这可能来自 o 级模型，但我认为还需要几年时间。
- 我一直在用年为单位说话，但也许我们真的应该用计算量为单位。时间决定人类的产出，但计算量决定 AI 的产出，而在研究机构，AI 的产出将越来越重要。这就是为什么建造超级集群的竞赛正在进行 —— Meta 的 2GW 集群，Xai 的额外 10 万个 H100 等。
所有的实验室都会很快跟随 OpenAI 使用测试时计算模型，一些实验室最初可以用更多的计算来弥补较差的算法。他们会像追赶 GPT-4 那样追赶。要制作这些模型，需要混合通用知识和每个实验室的秘密配方。目前还不清楚 OpenAI 在 o 级模型方面有多少秘密配方，但他们的改进速度表明这是一个算法进步（更容易复制）而不是某种独特的数据组合（更难复制）。
在测试时计算的时代，我不清楚拥有更多计算力还是更好的模型哪个更重要。一方面，你可以通过投入更多的测试时计算来弥补较差的模型。另一方面，稍微好一点的模型可能会节省指数级的计算量。
如果 Xai 因为他们更擅长启动大规模集群而赶上 OpenAI，那将会很有趣。
无论如何，不会有一个持续超过一年的模型护城河，因为实验室像棒球卡一样交换研究人员，而且，也许更重要的是，不同实验室的研究人员会一起聚会和约会。此外，我认为如果事情失控了，研究人员太理想主义了，不会不分享信息。
我们现在面临的情况很疯狂。AI 竞赛就像核竞赛，但美国人和苏联人周末在洛斯阿拉莫斯一起聚会，在推特上互相挑衅说"打赌你 2025 年不会有最大的核弹吧，哈哈 :)"
AI 竞赛会继续感觉嬉皮和充满乐趣，直到政府介入和/或发生一些真正糟糕的事情。
- o 级模型以几个有趣的方式改变了计算规模扩大的动态。
o 级模型激励大规模建设，因为它们在每增加一个数量级的计算量时都有明显的收益。计算提供商不可能要求更好的扩展定律了。我猜这个定律就是 Sam 看到时想要一个数万亿美元计算集群的原因。
这对 Nvidia 来说可能实际上不是很好。o 级模型使推理比训练更重要。我认为构建超优化的推理芯片比构建训练芯片更容易，所以 Nvidia 在这方面没有那么大的护城河。
非常推测性的想法：如果 o 级模型能解锁全世界聚合的计算力来训练最好的模型呢？就像开源如何通过我们将 MacBook Pro 组合成推理超级集群来击败闭源那样酷。
- 现在除了计算之外，还有另一个新的指数级增长因素，那就是代码本身。如果一个实验室独特/特权地访问最智能的模型，使他们的软件工程师比其他实验室的生产力提高 2 倍，那么他们就能更快地接近下一个生产力翻倍。除非代码速度达到最大值，有一长串实验要运行，实验室再次被计算所限制。（我不知道，动态很难。看到实验室如何建模他们应该在计算和人员上花多少钱会很酷。）
- 尽管所有这些计算建设和知识工作自动化听起来很疯狂，但当科学家们开始感受到 AGI 时，事情才真正开始变得疯狂。我说的是你们这些物理学家、化学家、生物学家。
它将从任何带有"理论"名字的东西开始。理论物理学是第一个。如果数学真的被解决了（即使写这个听起来也很荒谬，但这并不意味着它不可能），那么理论物理学就不会落后太远。它也生活在 LLM 将超人类的符号领域。
当我们在路易斯安那的田野里（Meta 即将建成的数据中心）有一百万个 AI 冯·诺依曼日夜工作时会发生什么？他们会多快读完过去一个世纪里数千人写的每一篇物理论文，并立即吐出更正确的标记？
显然这是故事中难以预测的部分。理论物理学、化学、生物学 —— 如果这些对经过强化学习训练的 LLM 来说是个笑话呢？在这一点上，我们有什么合理的论据说它不会是这样？是的，我们还没有从这些模型中看到真正的创新，但它们主要处于高中/大学水平，而这些年龄组不会发明新的物理学。我们现在处于博士水平，所以我们可能开始看到一些创造性。
- 一旦 AI 开始产生新的科学理论，进步的瓶颈将是在物理世界中进行测试和实验。那里的瓶颈是劳动力和材料。到那时，如果没有能够建造更多机器人的机器人，那将会很令人惊讶。所以劳动力问题解决了。然后材料可以由机器人开采。这里的时间线会很慢，因为建造/运输物理东西需要很长时间，但是是年而不是几十年的问题。
- 我上面说的一切都假设 AI + 机器人研究/开发没有引入新的瓶颈，并且模型被允许随意学习。这几乎肯定不会发生。AI 进步的最大瓶颈将是人类。我指的是监管、恐怖主义和社会崩溃。
政府不会坐视地球被几家旧金山公司运营的自动化机器人开采（监管）。如果政府太无能而无法阻止它们，那么愤怒的失业者可能会诉诸暴力（恐怖主义）。除非人们因 AI 增强的媒体而大脑腐烂，以至于我们无法作为一个社会运作（社会崩溃）。
如果发生战争，我认为它不会是瓶颈，而是加速剂。
事情会变得严重。2025 年可能是 AI 作为旧金山科技推特上疯狂事物的最后一年，在西装革履的普通人参与之前，所以让我们趁现在还能享受 roon 和 sama。
- 这会杀死所有人吗？我更害怕人类错误使用 AI，而不是 AI 失控。
我们有 5000 年的证据表明人类使用最新技术相互杀戮。二战后的和平是一个异常现象，一旦美国失误或当对手认为有必要先发制人以阻止 AI 加速时，这种和平就可能崩溃。当武器变得更致命、更自主时，风险就会更高。
另一个大风险是 AI 导致社会混乱。AI 生成的媒体可能导致大规模混乱、大规模歇斯底里、大规模大脑腐烂。一个专制国家可能赢得 AI 竞赛，并使用新技术剥夺我们所有人数千年的自由。
另一个风险是 AI 失控。这意味着它会导致我们无法预测的灭绝级别的事件。特别是随着强化学习重新回到游戏，AI 现在正在发现自己的优化，而不是试图匹配人类数据（匹配人类更安全）。但到目前为止，这些模型的底层大脑仍然是一个 LLM，而 LLM 已经表现出只是理解人类。就像如果你在提示中包含"确保不要做任何可能杀死我们的事情"，现在就要看你来证明它仍然可能杀死我们。当然我还没有考虑到这里的所有论点，但当我做关于 AI 末日的噩梦时，我看到的是xx和俄罗斯的旗帜，而不是 OpenAI 的标志。
- 不过我肯定比害怕更兴奋。
我一直想要的科幻世界正在到来。它来得比预期的快一点 —— 因此产生了恐惧 —— 但在所有可能的路径中，我不确定最好的路径能好多少。这是一个相当不错的时间线。
我希望在十年内实现的事情：
- 一些疯狂酷炫的物理发现
- 最初由机器人建造的火星和月球基地
- 完美的导师/建议（几乎到了，需要好的检索、记忆和更多个性）
- 零副作用的生物增强药物
- 乘坐超优化的无人机飞行
- 通过核聚变、地热和大量太阳能实现全面清洁能源
- 意想不到的：AI 天文学家在望远镜数据中发现外星信号？AI 化学家轻松设计室温超导体？AI 物理学家统一一些理论？AI 数学家解决黎曼假设？
这些不再像科幻小说，而是感觉像近在咫尺的科学现实。
- 那么这一切将走向何方？好吧，最终我们会获得超级智能，这意味着我们能获得物理定律允许的一切。我想要永生和看到其他恒星系统。我也期望将我们的肉体升级为更好的东西。但到目前为止，我最兴奋的是了解宇宙从何而来。10 年前我开始写日记，记录我多么想知道这个答案，以及 AI 将如何帮助我们到达那里，现在这可能真的要发生了，这太疯狂了。
- 我们现在生活在一个这一切听起来都很合理的世界。每一个新的 AI 发展都让更多的人意识到这一点，o3 是最新的例子。
现在唯一可能让未来不那么壮观的方式是如果我们这些人搞砸了。比如我们的公众舆论、我们的下游政策、我们的社会稳定性、我们的国际合作 —— 这些是可能阻止这个壮观未来的路障。
- 人们认为 AI 实验室的人在控制我们的未来。我不同意。他们的工作已经确定。他们只是在执行将在一个或另一个实验室发生的模型架构。
但我们的公众舆论、我们的下游政策、我们的社会稳定性、我们的国际合作 —— 这些是完全不确定的。这意味着我们集体是未来的监护人。
我们每个人都有责任帮助我们的世界度过这些即将到来的疯狂时期，以便我们获得一个伟大的未来而不是可怕的未来。
- 有很多方法可以提供帮助。帮助建立某种使社会更稳定或使人们更聪明的产品（例如：帮助人们调节社交媒体的应用程序）。帮助告知人们正在发生什么（社交媒体上更多高质量的评论，一个真正好的搜索引擎等）。帮助清理我们的街道，这样要带领我们进入乌托邦的城市看起来就不像反乌托邦（参与地方政治）。
- 几乎每个我交谈过的人都害怕在 AI 世界中失去意义，你可能也是。对你们我要说，难道不是完全相反吗？你正生活在历史上最重要的时期，而且你有能力影响它。帮助拯救世界难道不足以赋予意义吗？你想回到一个只有你的职业在进步而不是整个世界在进步的时代吗？
也许人们需要做的转变是从通过个人成功获得意义转向通过集体成功获得意义。我们当前的许多工作很快就会被自动化。我们必须适应。如果你从特定技能中获得意义，是的，那个技能在 5 年内可能不再需要，你就倒霉了。但如果你能从尽可能帮助世界中获得意义，那永远不会消失。
- 对于因为 o3 而收到建议的所有新毕业生，这是我的建议：学会成为 1) 一个高主动性的问题解决者和 2) 一个优秀的团队成员。你在途中学到的具体技能并不重要，因为世界会变化得太快。但跳出来解决问题和与团队良好合作将在很长一段时间内都很重要。
你可能还需要接受在不稳定的世界中过不稳定的生活。事情会变得很奇怪。你可能不会在郊区有两个孩子和一条狗。你可能会在一艘星际方舟上有两个机器人孩子和一条 AI 狗。
我们正生活在 AGI 的前夕，在这个平安夜，我请求你帮助使 AGI 转型顺利进行，这样我就可以在 3024 年的平安夜，在围绕 Altman Centauri 运行的一颗行星上向你问好。