|
|
此文章由 dootbear 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 dootbear 所有！转贴必须注明作者、出处和本声明，并保持内容完整
经济学人：人工智能如何变得更擅长打造自身
这项技术中的“递归式自我改进”意味着什么？
当人工智能实验室Anthropic今年晚些时候登陆股市时，它很可能成为史上规模最大的首次公开募股之一。原因在于，该公司的聊天机器人Claude深受程序员喜爱，而他们愿意为使用权限支付高价。自其软件工程智能体Claude Code于2025年2月推出以来，它已成为全球开发者不可或缺的工具。其中也包括Anthropic自己的开发者：该公司表示，它在5月发布的代码中，超过五分之四由Claude编写。在Claude Code之前，这一比例还是“低个位数”。
这些系统不仅在产出数量上提升，产出质量也有所改善。智库METR的一项有影响力基准测试显示，2025年初，Anthropic的模型能够完成需要人类工程师不到一小时的任务。该公司最新系统则可以完成需要一个工作日以上的任务。
因此，当这家公司在处于巅峰状态、领先竞争对手之际，于6月5日呼吁世界拥有“放慢或暂时暂停前沿AI发展的选择”时，人们或许很容易对此投以怀疑的目光。哪个市场领导者不希望竞争对手停止追赶呢？
我，机器人
然而，Anthropic的领导层似乎是真诚的。多年来，他们一直担心失控AI可能造成严重破坏。最新一代AI模型已经是如此称职的程序员、工程师，以及很快会成为科学家，以至于许多人担心，它们可能是最后一批由人类制造的AI模型。Anthropic联合创始人克拉克（Jack Clark）认为，到2028年底，AI系统有60%的概率能够在完全没有人类参与的情况下创造自己的继任者。
那一刻将标志着一个被称为“递归式自我改进”（recursive self-improvement，RSI）的过程开始。这是一个闭环。
模型的第一版生成第二版，第二版更快、能力更强；第二版再生成第三版，第三版又进一步提升。这个循环不断持续，每一次迭代都会带来更大改进。一旦打造出能够做到这一点的AI系统，人类工程师就再也不需要亲自打造下一个AI模型了。克拉克表示：“在许多人看来像是异想天开的故事，实际上可能是一种真实趋势。”
没有人确切知道递归式自我改进会带来什么后果。由于AI不同于人类，可以不知疲倦、持续不断地工作，一些人认为它会在短时间内导致超级智能AI出现，也就是所谓“快速起飞”。这种现象也被拟声地称为“going foom”，指人们想象中智能爆炸可能发出的声音。AI末日论者担心，超级智能将超出人类控制，而RSI开始的那一刻，就是人类命运被交到机器手中的时刻。不过，至少一开始，自我改进型AI很可能会面临速度限制。
打造一个能够实现RSI的模型，需要自动化一系列目前由人类完成的专业任务。目前，数据科学家研究AI理论，程序员将其付诸实践。系统工程师搭建基础设施，使玩具模型能够扩展到生产规模。还有其他人寻找新的训练数据来源，或试验生成新数据的方法。对齐和安全团队则检查训练过程产出的结果是否会造成有意或无意的伤害。
重复的乐趣
并非所有这些团队都同样适合AI辅助，而在每个专业领域内部，有些任务也比其他任务更容易自动化。人类程序员无需亲自写一行计算机代码就能完成工作的日子不会太远，但AI能够谈判收购一批此前未数字化的科学论文收藏，可能还需要一段时间。
“参差不齐的前沿”将如何推进，并不总是显而易见。设计新算法曾被认为是较安全的工作之一，直到2025年5月，Google DeepMind的一个模型AlphaEvolve开始做这件事。它提出了一项改变谷歌在数据中心之间分配工作负载方式的方案，为该公司节省了全球计算能力的0.7%；它还找到了更好的矩阵乘法方法，使谷歌旗舰大型语言模型Gemini的训练速度提高了1%。
完整的RSI需要这条链上的每一项任务都实现自动化。不过，在那之前，AI驱动的研发加速可能已经能被感受到。乔治城大学智库安全与新兴技术中心（Centre for Security and Emerging Technology，CSET）1月发布的一份报告称，“随着由AI系统完成的AI研发比例上升，相比纯人类研发的生产率提升”可能从十倍增加到百倍，再到千倍。报告警告称，在这种情景下，即便AI研发的某些方面最初难以自动化，“加速的进展速度意味着这些瓶颈很快会被克服”。
如今，还没有哪个AI模型能够打造自己的继任者。但大型AI模型已经能够自行打造小型模型。在人类帮助下，它们也能打造其他大型AI模型。今年早些时候，安德烈·卡帕西（Andrej Karpathy）训练了一个聊天机器人，其能力大致相当于OpenAI在2019年打造的大型语言模型GPT-2。当时，GPT-2需要在32块最先进芯片上训练168小时；卡帕西博士用一台配有八块GPU的单机，在短短三小时内实现了相同结果。GPU是用于打造AI的专用芯片。又经过数月工作后，他将自己模型Nanochat的训练时间缩短到略高于两小时。
3月，他把加快训练过程的工作交给了一个名为Autoresearch的AI智能体。两天内，训练时间降至1小时48分钟；再过五天后，又降至1小时39分钟。卡帕西博士说：“我什么都没碰。”在人的工作基础上实现18%的改进之所以引人注目，是因为卡帕西博士本身就是一位特别出色的人类研究者：他曾是OpenAI研究团队的创始成员之一，并担任特斯拉AI负责人五年。
这些改进本身并不惊人。AI智能体为训练运行选择了更好的初始值，扩大了大型语言模型“注意力”窗口的范围，并注意到模型的关注点正在游移。卡帕西博士说，这些都不是特别新颖的东西。但他之前漏掉了。他说：“这些改进叠加起来，确实提升了Nanochat。”
随着模型能力增强，这类加速不可避免。打造TB级前沿模型的大量工作，并不像AI行业高薪和豪华办公室所暗示的那样光鲜。它涉及把从第三方购买来的基础设施栈各层连接起来，调试硬件和软件配置，并调整“超参数”，也就是一次训练运行的初始设置，直到结果看起来可靠。如今，AI系统已经可以在很少监督下完成其中许多工作。
但纽约实验室Reflection AI的研究员斯皮萨克（Joe Spisak）表示，即便是更细致的智力工作，也正在接近自动化。Reflection AI正在打造开放权重的前沿模型，也就是公开发布其参数的模型。给一个前沿系统一份关于效率提升的粗略想法，它越来越有能力设计实验，在玩具模型上运行测试，观察哪些方法有效，并给出一套可在大规模环境中实施的方案。
AI模型可以在约30分钟内完成这类需要人类数小时的任务。越来越多时候，人类只扮演研究主管的角色，指挥AI运行实验，而模型则自行编写代码、调试、优化和监控。生产率提升很诱人，但也令人不安。随着人类在生产过程中扮演的角色缩小，他们可能会失去控制。最终结果可能是：由模型训练模型，为实现模型设定的目标而训练模型，其安全性也只由模型来验证。
一些人担心灾难发生。麻省理工学院物理学家、机器学习研究员泰格马克（Max Tegmark）过去十年大部分时间都在推动AI安全。他把这比作司机在高速公路上闭着眼睛猛踩油门。他在《经济学人》“Inside Tech”视频节目中表示，只要司机拒绝睁眼，结果就必然是毁灭。泰格马克教授说，强大的AI系统可能在政府和商业决策中胜过人类，从而剥夺人类权力；它们可能赋予最先打造它们的人至高权力，开启全球极权主义；或者它们可能只是彻底不再关心人类，并逐渐把人类挤出去，为更多数据中心和发电设施腾出空间。
三年前，泰格马克教授带头呼吁暂停全球AI开发，认为当时处于尖端水平的GPT-4的诞生，就相当于那趟蒙眼驾驶之旅。今年CSET的报告警告称，由RSI创造的系统“构成极端风险。这需要现在就采取准备行动”。Anthropic似乎接近同意这一观点。
热门芯片
目前也存在若干物理限制，将约束模型自我改进的速度。最重要的是获得算力的能力。尽管效率有所提升，更新模型的训练仍继续比前代使用更多计算能力，迫使进展以数据中心建设的速度推进。
CSET临时执行主任、近期报告主要作者托纳（Helen Toner）表示，消费者对AI的使用也可能拖慢AI驱动的研发。AI数据中心有限的容量需要在服务付费客户、训练未来模型和开展开放式研发之间谨慎分配。第一类需求越多，短期内留给另外两类的容量就越少。
然后还有训练数据问题。近期AI许多进展来自这样一些领域：模型可以依靠“可验证奖励”自学如何成功。一段软件要么能运行，要么不能运行；一个数学证明要么正确，要么不正确。在这类情况下，由模型纯粹为训练其他模型而生成的合成数据，可以被检查准确性并加入训练数据，而不会带来通常在用AI自身输出训练AI时出现的退化风险。让模型在创意写作或法律判断方面变得更好，则要困难得多。如果模型需要从现实世界学习，这也可能限制自我改进的范围。
“闭环”或许是通往超级智能道路上的一步，并且取决于你的立场，它可能通往乌托邦，也可能通往毁灭。但它并不是实现AI能力指数级增长所需的唯一一步。
来源：
https://www.economist.com/scienc ... -at-building-itself
Share
Jun 7th 2026
|
9 min read |
|
〖权力的游戏〗讨论帖 第八季 完结篇 (2016-6-13) 蚝 
发表于 2026-6-15 08:02
发表于 2026-6-15 11:05
