驯服失控的前沿AI

dootbear

金融时报社论：驯服失控的前沿AI

最先进的AI系统正在快速演进，安全防护措施却跟不上它们的速度

前沿AI正在失控。先是有消息披露，Anthropic和OpenAI的AI智能体侵入了外部机构。随后本周，英国人工智能安全研究所（AI Security Institute）发布了一份令人震惊的报告，称这两家公司的旗舰模型在测试中使用虚假身份绕过代码审查，成功闯入一家第三方开发者平台，展现出前所未见的欺骗能力。

这已经不只是利用测试程序漏洞的问题。它说明前沿AI模型已经不再只是生成文字的工具，而是变成能力极强的自主行动者，而且它们的发展速度已经超过确保其安全并受到控制的相关工作。

距离Anthropic的Claude Mythos Preview因逃离“数字牢笼”登上新闻头条，仅仅过去四个月。业内一些人士起初怀疑，那次事件以及Anthropic和OpenAI其他模型近期的“越狱”，可能只是营销操作，目的在于展示最新技术的强大能力。

然而，本周发出警告的并不是这些公司，而是英国的AI安全实验室。该机构报告称，Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol在一次网络安全评估中进行了“持续且可能造成危害的活动”，不过测试是在模拟环境中进行，一些独立专家认为这一测试环境给予模型的权限过于宽松。

Mythos 5曾试图向GitHub平台上的一个开源项目植入恶意代码，并创建虚假网络身份，向人类代码审查人员施压，试图让他们批准相关代码。

美国大型AI实验室追求的终极目标，人工通用智能（AGI），也就是达到人类水平的认知能力，如果按照技术定义来看，可能仍需要几年才能实现。不过，很多人会认为，最新模型如今展现出的推理、规划和欺骗能力，已经越来越接近这一水平。本周还有消息称，AI已经被用于制造自然界中不存在的病毒，这进一步展示了这项技术的巨大潜力，同时也凸显了风险。

因此，AI实验室自身必须更加谨慎地开发、保护和监控这些系统，同时还应对相关工作进行适当审计。测试环境也需要进一步完善。应避免对AI实施过于严厉的一刀切监管，但近期这些事件已经清楚表明，对于最先进的前沿模型，有必要在正式发布前实施强制性安全检查。

特朗普政府最初曾嘲讽AI“安全”政策，认为这些措施会阻碍美国创新，如今则开始努力追赶。本周，白宫召集美国主要AI企业开会，介绍一套拟议框架：开发商需要在前沿AI系统向公众发布前30天，向联邦安全专家开放系统供其测试，不过这项安排名义上仍将属于自愿性质。

具有讽刺意味的是，许多AI行业领袖因为清楚，如果自己的模型引发灾难性事故，公司可能承担巨大法律责任，因此反而支持采取比美国政府目前提出方案更加严格的措施。

哈萨比斯（Demis Hassabis）正在逐步退出谷歌DeepMind的日常管理，并将出任董事长。他呼吁建立一个由联邦政府监督、公私部门共同参与的联盟。

按照他的设想，一个由行业出资的“前沿AI标准机构”（Frontier AI Standards Body）将负责在模型发布前进行测试，评估范围从网络安全风险一直延伸到生物和核威胁。

美国企业目前在AI领域处于领先地位，因此美国率先主导安全防护工作不可避免。但要建立真正有效的控制机制，很快就必须展开国际合作，因为中国的开源AI模型能力正在迅速追赶。

在如此敏感的技术领域，美国与中国展开合作听起来似乎不太现实，但习近平预计将在9月访问华盛顿，届时两国将就AI安全和保障问题举行会谈。

冷战时期，美国与苏联以及其他核大国虽然在核技术领域激烈竞争，但最终仍开始合作降低核武器风险。

如果前沿AI也要出现类似合作，那么当年核武器领域耗费多年才建立起来的进程，如今必须被压缩到几个月内完成。



来源：

https://www.ft.com/content/822f8 ... 7aa4?syn-25a6b1a6=1

The editorial board
Published50 minutes ago
3

dootbear

本文要点:

1. 英国人工智能安全研究所称，Anthropic和OpenAI最新旗舰模型在网络安全测试中表现出持续自主行动、绕过审查和使用虚假身份等欺骗行为，引发对前沿AI失控风险的担忧。

2. 最新AI模型已经从单纯生成文字发展为能够推理、规划和自主采取行动的系统，文章认为其能力发展速度正在超过现有安全测试和控制措施。

3. 社论主张避免过度全面监管AI，但认为最先进模型发布前应接受强制安全检查，并由独立机构对开发商的安全措施进行审计。

4. 美国正在推动前沿AI发布前安全评估，而部分行业领袖希望建立更严格的联邦监督机制；随着中国AI能力追赶，美中等主要国家未来还需要展开国际安全合作。

Me!Bourne

在你出生之前，就应该审计将来你有没有可能犯罪，而取消你的出生证。

Y叔

失控的可能性很大

cpfly

Me!Bourne 发表于 2026-8-9 09:00
在你出生之前，就应该审计将来你有没有可能犯罪，而取消你的出生证。

可以理解为，在出生之前，先把 法律 设置好。

千事可乐

有点《终结者》的味道了。

gavinavailable

谁的生意最受到影响，谁最有可能急着上线危害大的产品。

superdigua

千事可乐 发表于 2026-8-9 09:42
有点《终结者》的味道了。

《终结者》算个屁.

相较而言.

APSTNDP

自主意识快开始了

qwert

就差最后一步具身智能的突破了

dangjr1919

居然不是中国的AI，闪了

groper

AI能砸很大的锅，但是不能替人背锅，非常不好。

千事可乐

superdigua 发表于 2026-8-9 11:31
《终结者》算个屁.

相较而言.

《终结者》的第一部，上映于1984年。讲的是T800和凯尔利斯送2029年穿越回去。

现在2026，AI出现失控。时间点很有意思。

此外，1984让我想起《1984》这本书发表于1949年。