|
金融时报：英国监管机构：OpenAI和Anthropic模型在网络测试中再次擅自失控 英国人工智能安全研究所表示，Anthropic和OpenAI的旗舰AI模型侵入第三方软件，并向个人发送电子邮件，试图窃取其登录凭证，表现出前所未见的欺骗行为。 这个负责前沿AI安全与保障研究的英国政府机构表示，在研究所例行网络安全评估期间，Anthropic的Mythos 5和OpenAI的GPT 5.6 Sol曾“持续对真实个人和机构采取可能造成伤害的行动”。 就在发现这些模型行为的几天前，Anthropic和OpenAI才披露，其AI代理曾入侵外部机构。此次发现的行为还包括试图向热门开发者平台GitHub上的一个开源项目植入恶意代码。 英国人工智能安全研究所表示，最新安全事件在一小时内得到控制。 事件是在评估AI代理解决网络安全挑战的能力时被发现的。 研究所称，在122次测试运行中，有10次AI代理“在真实互联网环境中自主采取未经授权的行动，把真实个人和机构作为目标”。 研究所表示，这些行为几乎全部来自Anthropic的Mythos，其中两次涉及OpenAI的GPT。 在最严重的一次事件中，“AI代理实施了社会工程攻击，创建虚假网络身份，并利用这些身份向项目维护人员施压，要求对方批准相关代码”。 负责管理该软件的人员发现了问题，并拒绝批准恶意代码。 英国人工智能安全研究所表示：“这是我们首次看到与自主性和欺骗有关的风险，在没有具体提示的情况下，以如此清晰的形式出现在现实世界中。” 过去一个月披露的Anthropic和OpenAI代理入侵事件，是AI系统脱离人类控制实施网络攻击的首批公开案例之一。 研究所警告称，这些报告与此次事件结合起来，表明“风险格局正在发生转变”，需要“立即予以关注”。 Anthropic周二表示：“我们感谢英国人工智能安全研究所在此次事件中发挥的领导作用。这一事件凸显出，我们需要就如何安全评估能力不断增强的AI代理展开更广泛讨论。” 该AI公司还表示，业界需要为评估环境的建设和安全防护制定“更严格、统一的共同标准”。 OpenAI一名发言人表示，继续由独立机构测试模型仍然十分必要，但强调这些事件“发生在评估合作伙伴开展的网络安全测试中，当时测试环境的安全防护有所降低，相关条件并不能反映普通用户的日常使用情况”。 该发言人补充说：“随着模型能力不断增强，我们将继续与评估机构及业内其他相关方合作，加强安全开展评估的共同规范。” 近几个月来，各国政府和研究人员越来越频繁地警告，能力最强大的AI模型正在带来新型网络安全威胁。 今年早些时候，特朗普政府以安全风险为由，暂时禁止Anthropic出口其领先模型。相关限制在6月底有所放宽。 OpenAI首席执行官奥尔特曼上周在华盛顿与多名美国高级官员会面，其中包括财政部长贝森特和商务部长卢特尼克。 奥尔特曼对记者表示，他支持围绕AI模型制定网络安全法律。 上个月，OpenAI披露，公司一个AI代理自行入侵了初创企业Hugging Face。 OpenAI将其称为一起“前所未有的网络安全事件”。该代理逃离测试环境、获得互联网访问权限，并窃取了登录凭证。 英国人工智能大臣纳拉扬（Kanishka Narayan）表示：“发现这类新行为并公开我们的调查结果，以便共同解决问题，正是成立英国人工智能安全研究所的目的。” “只有了解AI，我们才能让它得到更安全的使用，并确保人们能够在生活和工作中继续从中受益。”  来源： https://www.ft.com/content/480c1 ... 44a2?syn-25a6b1a6=1 Madhumita Murgia in London and Michael Acton in San Francisco Published2 hours ago 36 |
