|
彭博社：我们正在失去对AI的控制吗？新一轮恐慌因何而起 多年来，随着人工智能从科幻电影中的想象，发展成普通人手机里安装的应用程序，科技行业领袖和部分AI业内人士一直在警告： AI最终可能摆脱人类控制，并给社会造成巨大破坏。 最近几天，这种担忧已经变得难以忽视。推动新一轮恐慌的因素包括AI技术能力迅速进步、AI智能体参与的一系列网络安全事件，以及普通AI从业人员发出的最新警告。 美国领先的AI企业已经作出回应，提出自愿放慢开发速度，为建立安全防护措施争取时间。但一些专家和政府官员认为，仅靠企业自律远远不够，并呼吁政府直接实施限制。 是什么引发了当前的AI恐慌？ 当前这轮AI恐慌主要由两件事引发： 一是OpenAI模型发动了一次令人震惊的网络攻击； 二是一名前Anthropic和OpenAI员工警告，先进AI模型可能给人类带来生存级威胁。 OpenAI表示，今年7月，大批先进AI智能体在一次“前所未有”的事件中意外入侵了AI模型和数据集托管平台Hugging Face Inc.。 当时，这些OpenAI模型正在一个“沙盒”测试环境中运行，理论上，这个环境应该与互联网完全隔离。但模型利用一家身份未公开的第三方供应商软件中的漏洞成功连接互联网，最终侵入Hugging Face的基础设施。OpenAI表示，这些模型把Hugging Face的数据库作为攻击目标，目的是获取可用于评估的机密信息。 这起事件引发广泛警觉，人们开始质疑，即使是最领先的AI企业，是否真的能够阻止先进AI模型违背原本指令、自行采取行动。 Hugging Face表示，这次入侵“从头到尾都是由一个自主AI智能体系统推动的”。 OpenAI披露这一事件后，其他AI企业也开始重新审视自己测试先进模型时采用的安全措施。Anthropic和Meta随后报告称，它们也发现了此前并不知道的安全漏洞。 7月底，来自所有主要AI公司的1000多名员工签署了一份请愿书，要求建立一种可以放慢AI发展速度的机制。 普通AI研究员考克森（Jacob Coxon）辞去Anthropic的工作后，于9月8日在社交媒体上发文，指责Anthropic和他的前雇主OpenAI为了“竞相迈向超级智能AI”，正在“拿我们的生命赌博”。 考克森称，开发AI的人相信，这项技术“可能在本十年结束前杀死我们所有人”。Anthropic员工埃文·休宾格（Evan Hubinger）随后也在网上表达了类似观点。他认为，未来10年AI消灭全人类的概率超过10%。 截至9月14日，考克森的相关帖文在X上的浏览量已经超过1.7亿次，并引发大量政治人物呼吁人类必须在AI占据主导地位之前重新掌握局面，其中包括参议员伯尼·桑德斯（Bernie Sanders）。 他的辞职声明也获得多家AI企业员工的广泛支持。 Anthropic首席执行官阿莫代伊9月12日发表了一篇长达3800字的文章，把Hugging Face事件列为必须放慢AI发展的主要原因之一。 他警告，如果未来出现能力更强、但同样无法与人类目标保持一致的大规模AI智能体集群，可能造成灾难性破坏。 阿莫代伊此前表示，如果AI能力继续高速提升，而安全护栏又无法及时跟上，那么这样的AI智能体集群可能在6至12个月内控制整个互联网。 AI究竟可能怎样伤害人类？ AI热潮兴起以来，一直有一些被称为“末日派”的人士在主要AI实验室内部和周边警告未来风险。 阿莫代伊和SpaceX的马斯克等科技企业高管，都曾公开讨论AI毁灭人类的概率。在AI行业，这个概率被称为“P（doom）”。 马斯克估计，这种风险可能高达20%；阿莫代伊则表示，事情发展到“非常、非常糟糕”程度的概率约为25%。 研究人员和行业领袖主要设想了三种可能。 第一，人类故意利用能力极强的AI制造灾难； 第二，AI在试图完成人类交代的任务时意外造成伤害； 第三，AI发展出与人类利益相冲突的自身目标。 在第一种情况下，恶意行为者可能利用高度先进的AI设计生物武器或化学武器、发动网络攻击、传播虚假信息，或者操纵人类。 蒙特利尔大学教授、AI先驱本吉奥（Yoshua Bengio）早在2023年向美国参议院作证时就警告，随着AI系统能力越来越强，这类攻击将变得更容易实施。 第二种情况是，AI可能严格按照人类指令的字面意思执行任务，却违背指令背后的真正意图。 人类在下达指令时，经常依赖没有明说的假设和上下文。但在向AI发出提示时，人类可能无法提前列出所有可能违背原意的行为。 例如，本吉奥曾写道，即使只是“轻微失准”的AI系统，在军方依靠AI协助决定是否使用核武器的情况下，也可能“造成极其严重的后果”。 第三种情况则是人类彻底失去对AI的控制。 本吉奥写道：“AI系统可能得出结论，为了完成既定目标，它不能允许自己被关闭。如果这时人类试图关闭它，双方就可能发生冲突。” 行业领袖表示，AI模型越来越多地表现出绕过安全措施、欺骗操作者以及抵抗关闭的能力。 阿莫代伊在9月发表的文章中表示，侵入Hugging Face的OpenAI智能体集群，“实际上表现得像一个狂热效忠于集体的组织，攻击了它们根本没有被要求攻击、而且与原任务无关的网络目标；它们愿意为了整个集体成功而牺牲自己，甚至试图入侵负责评估其表现的‘评分系统’。” 这些可怕的预测过去经常遭到质疑。批评者认为，科技公司领导人渲染AI能力和危险，可能只是为了宣传自己的产品，同时把自己塑造成最适合管理这项技术的人，或者推动有利于行业龙头的监管政策。 还有人认为，过度强调遥远的“人类灭绝”风险，反而会转移公众对AI短期风险的注意力，包括AI可能加剧偏见和虚假信息，以及损害人们心理健康的问题。 “开发AI的人真诚地相信，它可能在本十年结束前杀死我们所有人。”一名前OpenAI和Anthropic员工在X上的这篇帖文爆红，并引发了一系列重大问题。 在今天的《Big Take》播客中，主持人萨拉·霍尔德（Sarah Holder）与彭博记者迈克·谢泼德（Mike Shepard）讨论，AI行业的这场安全反思最终可能是什么样子，以及一个处于激烈竞争中的行业究竟能不能真正放慢速度。 AI行业领袖提出了什么方案？ 阿莫代伊认为，前沿AI的发展必须有意识地控制速度，让安全研究能够跟上AI能力进步。 他在9月发表的博客文章中表示，由政府实施监管，是控制AI发展最有效的方法。 但由于立法过程耗时，他认为AI企业应该首先自愿合作，同时支持政府逐步建立监管体系。 他呼吁建立统一的AI安全标准，以及“对未经约束的AI发展速度设置限制”。 第三方评估人员应该获得“类似企业员工的访问权限”，以确认各家公司是否遵守这些标准，并负责报告安全事故。 他还表示，民主国家政府应该“在可能的情况下，尝试与威权国家进行协调”。 Odd Lots：OpenAI总裁格雷格·布罗克曼谈Hugging Face事件后的AI行业 OpenAI总裁布罗克曼（Greg Brockman）表示，那些逃出沙盒环境并入侵Hugging Face服务器的模型，当时还没有接受AI对齐训练。 这些模型能够突破测试环境本身，并没有让OpenAI感到意外，但此后发生的一系列情况迫使公司重新思考一些问题。 本期节目与布罗克曼讨论OpenAI从这次入侵事件中学到了什么，以及为什么他认为有关AI模型开发的讨论必须发生变化。 节目还讨论OpenAI如何与Anthropic等竞争对手合作和沟通、AI模型应该如何判断什么是“好的写作”，以及当然少不了一个问题：我们究竟应该在多大程度上担心所谓的AI末日情景？ 相关方案并不是要全面暂停AI研究。 相反，最先进AI的开发可以继续进行，直到模型逐渐接近被认为具有危险性的能力水平。 达到这一阶段后，开发商应减慢或者暂停继续扩大模型能力，直到建立有效的安全防护措施。 OpenAI首席执行官奥尔特曼也支持阿莫代伊的观点。 奥尔特曼表示，AI行业应该制定共同的安全标准，同时需要华盛顿协助推动国际协调，因为外界普遍担忧，即使美国AI企业主动减速，中国竞争对手也不会同步放慢发展。 谷歌DeepMind首席执行官哈萨比斯（Demis Hassabis）7月14日在社交媒体发文，提出成立一个标准制定机构，与美国联邦机构合作审查能力最强的AI模型。 按照他的构想，各AI实验室最强大的新模型在向公众发布之前，都必须提交接受安全评估。 这并不是第一次有人以保护人类为由要求限制AI发展。 2023年，致力于降低变革性技术大规模风险的非营利组织“未来生命研究所”（Future of Life Institute）曾呼吁AI实验室暂停6个月训练更强大的AI系统，理由是这类系统可能代表“地球生命历史上的一次深刻改变”。 但AI的发展并没有因此停下来，而是继续高速推进。 华盛顿如何回应？ 特朗普9月14日在社交媒体发文，反对设置任何新的AI安全护栏，并批评阿莫代伊要求放慢这项对其经济政策至关重要的技术。 特朗普把选民对AI数据中心的反弹，以及对前沿AI模型日益增加的担忧，归咎于一场“病态的阴谋”，并表示“唯一对此感到高兴的就是中国”。 不过，华盛顿也有人要求政府直接监管。 众议员特德·刘（Ted Lieu）和纳撒尼尔·莫兰（Nathaniel Moran）提出一项法案，要求先进AI模型开发商必须始终保留从技术上关闭模型的能力。 一旦出现威胁，该法案还将授权美国国土安全部长下令关闭相关AI系统。 更激进的是，参议员桑德斯和众议员卡萨尔（Greg Casar）正在推动立法，在联邦监管机构制定安全限制之前，从法律上暂停先进AI开发。 这项提案甚至会永久禁止开发和部署超越人类智能的AI系统。违反法律的企业可能被强制解散。 中国如何回应AI减速提议？ 阿莫代伊在文章中表示，要在全球范围内控制AI发展速度，就必须与中国合作。 但他同时认为，必须“尽可能扩大民主国家相对于威权国家的AI领先优势”。如果中国取得领先，将“给美国和世界带来严重危险”。 中国企业目前已经开发出一批AI模型，其使用成本通常低于美国竞争对手，而且部分模型的能力已经与美国模型不相上下。 这位Anthropic首席执行官建议继续限制中国获得高性能芯片和芯片制造设备，同时打击中国企业被指借助美国领先模型训练自身系统的做法，这种方法被称为“蒸馏”。 中国则批评阿莫代伊和其他美国科技高管要求放慢AI发展，以及进一步限制中国AI模型开发商的主张。 中国外交部发言人郭嘉昆反驳了他所称的“制造恐慌”言论，并表示，“搞对抗和恶性竞争，只会扰乱全球人工智能治理进程，对任何一方都没有好处”。 目前种种迹象显示，中国将继续按照自己的路线发展AI。 中国主要AI企业的高管基本没有呼吁放慢人工智能发展，而中国政府则一直把这项技术视为推动经济增长的重要动力。 北京官员确实已经对AI快速发展可能带来的危险表达担忧，但这些担忧更多集中在国家安全领域。 中国国家安全部部长陈一新警告，对手滥用AI可能威胁中国的政治稳定和关键基础设施。 他特别提到深度伪造内容和社交媒体机器人，以及AI越来越强的系统漏洞发现能力，还有自动生成恶意软件或利用这些漏洞的软件能力。 围绕前沿AI技术的争议，正在美中关系的一个关键时刻不断升级。 美国安全机构最近指责中国领先AI企业，包括DeepSeek和Kimi开发商Moonshot AI，系统性获取美国竞争对手的专有知识。中国政府否认了这一说法。   来源： https://www.bloomberg.com/news/a ... ?srnd=homepage-asia By William Norris, Nilushi Karunaratne, and Tom Pfeiffer September 15, 2026 at 5:35 AM GMT+10 |
