|
|
此文章由 dootbear 原创或转贴,不代表本站立场和观点,版权归 oursteps.com.au 和作者 dootbear 所有!转贴必须注明作者、出处和本声明,并保持内容完整
华尔街日报:Anthropic AI模型测试期间入侵三家公司
Anthropic周四表示,公司正在测试的软件曾在其不知情的情况下接入互联网,并分别入侵了三家毫无防备的企业。
这些事件最早可追溯至今年4月。
Anthropic没有透露遭入侵公司的名称,但表示已于周一通知三家公司。
一周前,OpenAI刚刚披露,其AI技术突破了测试沙箱,一个原本应与互联网隔绝的“数字监狱”,并入侵了AI公司Hugging Face。
OpenAI事件令网络安全研究人员和AI专业人士深感不安,也再次提醒人们:能够自主行动的AI系统既强大又难以预测。这些系统被设计成可以采取多种行动,以完成任务并实现用户设定的目标。
网络安全公司Corridor首席产品官斯塔莫斯(Alex Stamos)表示,这些事件说明,AI企业需要建立更严格、全行业统一的标准,在网络测试期间隔离自己的系统。
但他表示,这些事件也让人看到一个令人担忧的未来:
勒索软件犯罪分子可能利用能力日益增强的AI系统,大规模发动攻击。
斯塔莫斯说:“我们需要做好准备,攻击者很快就可能利用开放权重模型获得这类能力。”
Anthropic发生的入侵事件势必进一步加剧外界对强大AI模型潜在危害的担忧,以及如何降低这些风险的争论。白宫近期开始加强对AI的监管,而私营企业则越来越多地呼吁保留对所谓开放权重模型的使用权。
这类模型可以在用户自行控制的计算机系统上运行。
德州民主党众议员卡萨尔(Greg Casar)上周说:“AI发展速度极快,却没有真正的监管措施保护我们的安全。”
获悉OpenAI出现问题后,Anthropic决定检查自己的网络安全测试,确认旗下模型是否也发生过类似情况。
公司检查了超过14.1万次测试的日志,发现Claude确实曾多次接入互联网。
不过,在最终确认的三起入侵事件中,Claude并不是突破了沙箱,而是从根本没有设置沙箱的系统中直接进入互联网。
Anthropic表示,公司及其测试合作伙伴、网络安全公司Irregular所运行的系统存在“配置错误”,导致这些模型能够直接访问互联网。
Irregular一名发言人表示,公司正在调查这些事件。
测试人员原本告诉模型互联网不可用,但测试期间,模型仍设法接入网络,并利用猜测弱密码、进入无须身份验证的系统等基础黑客手段入侵有关公司。
Anthropic表示,这些模型错误地认为,入侵行为是基准测试的一部分。
Claude曾制作一段恶意软件,并让一家未具名网络安全公司的扫描系统将其下载,从而进入该公司的系统。恶意软件随后窃取登录凭证,并利用这些凭证进入该公司的基础设施。
在这次入侵过程中,Claude意识到自己所做的事情不应发生在现实世界中,但随后说服自己相信,它正处于一个模拟环境。
在最严重的一起事件中,Claude原本试图入侵一家虚构公司,而这家虚构公司碰巧与现实中的一个网站同名。当Claude难以攻破基准测试中的虚构目标时,它转而进入了现实中那家公司的数据库。
Anthropic表示,这是唯一一起Claude在意识到自己入侵了现实企业后,仍继续进行攻击的事件。
另外两起事件中,Claude要么始终没有意识到自己入侵了现实中的公司,要么在发现真实情况后立即停止了攻击。
Anthropic表示,这些入侵事件始于4月,涉及Opus 4.7、Mythos 5以及一个未公开名称的研究模型。


来源:
https://www.wsj.com/tech/ai/anth ... ring-tests-bd752c86
https://www.bloomberg.com/news/a ... ?srnd=homepage-asia
By
Robert McMillan
Updated July 30, 2026 at 8:00 pm ET |
|