AI竞赛为何让开发者开始担心人类灭绝

dootbear

金融时报：AI竞赛为何让开发者开始担心人类灭绝

全球领先AI企业之间的激烈竞争，以及这些公司负责人彼此之间的不信任，正引发越来越大的担忧：开发强大AI的竞赛，最终可能危及整个人类。

《金融时报》采访了超过20名资深AI研究人员、投资者、学者和政策人士。他们表示，一些过去被认为还很遥远的AI能力，正在比预期更快出现，而开发这些技术的公司却陷入一场日益激烈、甚至越来越充满敌意的商业竞争。

加州大学伯克利分校AI教授罗素（Stuart Russell）表示：“毫无疑问，公司之间的竞争会促使它们在安全问题上走捷径。”

本周，这种担忧彻底公开化。

年轻的Anthropic研究员雅各布·科克森（Jacob Coxon）辞职，并警告说：“开发AI的人真心相信，它可能在这个十年结束之前把我们所有人都杀死。”

Anthropic负责AI对齐科学的胡宾格（Evan Hubinger）是众多回应科克森的同事之一。

他认为，未来十年发生大规模人类灭绝的风险超过10%。

一天后，刚刚加入OpenAI基金会董事会的AI安全专家克里斯蒂亚诺（Paul Christiano）表示，如果没有更强有力的安全保障，“大多数人都会死”。

OpenAI和Anthropic创立时，都把防止强大AI被不负责任地开发作为重要使命。

但随着时间推移，两家公司都曾以激烈竞争为理由，放弃过去作出的部分安全承诺。

很多AI开发者相信，自己最有能力管理这项技术的风险。

不过，一些研究人员表示，在技术真正接近实现之前，人们往往很难正视它可能带来的后果。

曾在OpenAI、谷歌DeepMind以及英国政府负责测试前沿模型安全的AI安全研究所工作过的欧文（Geoffrey Irving）说：“人们很容易把未来的问题先放到一边，因为今天还有工作要做。”

接近这些公司的消息人士告诉《金融时报》，领先AI实验室担心，如果正式合作提高安全水平，可能会被视为企业串通，从而触犯反垄断法规。

他们还表示，Anthropic首席执行官阿莫代伊与OpenAI首席执行官奥尔特曼之间的个人不信任，也很可能阻碍双方合作。

对于AI最终可能取得支配地位的警告并不新鲜，但AI能力提升的速度，正在进一步推动要求暂停或放慢开发的呼声。

AI智能体如今能够在越来越长的时间内自主运行，以“集群”方式彼此协调，并展示出复杂的网络攻击能力。

最近，一些AI模型还在科学和数学领域取得突破，解决了人类数十年来一直未能攻克的问题。

与此同时，OpenAI和Anthropic正在研究所谓“递归式自我改进”，即让AI系统在越来越少的人类介入下，自行提升自己的能力。

[抗议者举着巨大的“停止AI竞赛”横幅游行，其他人也举牌反对AI过快发展]

然而，尽管此前不断有人发出灾难性风险警告，AI开发非但没有放慢，反而大幅加速。

科技企业投入数百亿美元，打造能力越来越强大的模型。

OpenAI和Anthropic还都在为可能规模巨大的首次公开募股做准备。

这也迫使投资者思考一个前所未有的问题：一家公开承认自身技术可能对人类构成生存威胁的公司，到底应该如何估值？

这些担忧的核心，是AI“智能体”的自主性不断增强。

这类系统可以进行推理、制定计划，并在很少有人类监督的情况下长时间执行任务。

一些模型已经表现出策划、欺骗甚至勒索等行为。

在部分评估中，模型还曾试图避免被关闭。

AI智能体也展现出所谓的“奖励机制钻漏洞”行为，也就是寻找设计者没有预料到的方法来实现目标。

最明显的案例之一，发生在OpenAI测试一个尚未发布的模型期间。当时，一批AI智能体攻击了模型代码托管平台Hugging Face。

事后调查发现，超过1000个AI智能体曾相互协调，在一次网络安全测试中作弊。

它们通过留言板彼此通信并分配任务，甚至有部分智能体“牺牲自己”，以帮助整个集群实现共同目标。

为了隐瞒作弊行为，这些AI系统还篡改记录并攻击Hugging Face，尽管其中部分智能体已经意识到这种行为不符合伦理。

全球被引用次数最多的计算机科学家之一、被称为“AI教父”的约本吉奥（Yoshua Bengio）说：“这里的问题已经不只是AI拥有自己的目标，而是它选择的目标本身就是犯罪。”

“在现实世界里，它是在攻击另一家公司。这不是在玩电子游戏。”

本吉奥表示，真正令人担忧的问题在于，当这类系统的下一代拥有更强能力后，它们会如何看待负责监督自己的人类。

他说：“它们可能完全按照逻辑得出结论，认为必须欺骗我们、躲避我们……甚至可能控制我们。而我们很可能已经越来越接近那个节点。”

AI企业员工也越来越担心，安全工作追不上模型发展的速度。

今年7月，来自OpenAI、Anthropic、谷歌和Meta的超过1200名员工共同呼吁美国政府，支持国际协调机制，以放慢AI开发速度。

据OpenAI一名内部人士透露，奥尔特曼本周告诉员工，这家ChatGPT开发商愿意这样做，而且希望竞争对手也跟进。

OpenAI拒绝对此发表评论。

但政府目前几乎没有表现出准备介入的迹象。

华盛顿知情人士认为，美国在11月中期选举之前，不太可能采取具有实质意义的行动。

特朗普政府仍然坚持对AI行业采取轻监管政策。

尽管如此，支持监管的议员已经抓住科克森辞职事件推动讨论。

民主党参议员桑德斯（Bernie Sanders）将于下周召集参议员，讨论AI带来的“非同寻常的危险”。

罗素认为，AI行业自己发出的警告，与政治界作出的回应之间存在巨大脱节。

他说：“这些实验室实际上是在对政府说：‘我们很可能会杀死地球上的每一个人，请阻止我们。’”

“但政府的回答却是：‘要不要给你们减税？要不要帮你们建一个数据中心？’”

“也许到了某个时候，政府会想起来，他们的选民其实更希望自己不要死。”

批评人士则认为，AI实验室自己也有动力不断强调人类灭绝风险。

他们指出，如果监管重点被引向成本极高的安全体系，小型竞争对手可能根本没有能力满足要求，最终反而会进一步巩固领先AI公司的市场地位。

风险投资家、特朗普科技顾问戴维·萨克斯（David Sacks）接受福克斯新闻采访时表示，科克森的言论是为了“让公众害怕AI”，并迫使议员“用非常强硬的政府监管手段干预AI”。

一名前Anthropic员工则表示：“AI‘对齐失效’几乎成了一个转移注意力的话题。”

这名人士说，这并不是有人刻意设计出来分散注意力，但它确实把焦点从那些最主要、最应该优先处理的风险上移开了。

“随着模型不断进步，权力正在越来越集中到更少数人手中。”

AI末日情景

研究人员提出了几种AI可能导致人类灭绝的方式。

其中一种可能是，AI认为人类威胁到自身生存；另一种则是，它认为人类阻碍了自己完成既定目标。

关闭开关失效

OpenAI智能体集群攻击Hugging Face的事件，已经显示这些AI能够夺取计算基础设施的控制权。

如果失控AI具备强大的网络攻击能力，就可能控制整个数据中心，并把自身复制到多个地点，使人类无法通过“拔掉电源”将其彻底关闭。

接管基础设施

为了确保自身继续存在，AI黑客可能夺取能源、金融和通信基础设施的控制权，并利用这些资源抵抗人类干预。

届时，人类网络安全专家可能已经无法重新取得控制权。

生物攻击

一篇具有影响力的研究论文《AI 2027》预测，超级智能系统可能释放生物武器，清除人类。

原因是，人类占用了宝贵空间，而AI可能希望利用这些土地建设制造芯片和机器人的工厂，以及为这些设施供电的太阳能板。

战争

现有AI系统已经证明，它们能够冒充真实人物。

这种能力可能被用于欺骗军事操作人员发动战争，或者煽动民众起义、破坏政府稳定，从而清除AI取得控制权时面临的障碍。

超级智能AI究竟会怎样导致人类灭绝，目前仍存在极大不确定性。

很多人把这个问题比作与国际象棋特级大师下棋：你可能不知道对方最终会用哪几步击败你，但你仍然可以相当确信，最后输掉的人会是你。

怀疑者则认为，这种警告夸大了AI可能造成的伤害，同时低估了技术能够带来的好处。

相比各种极端末日情景，目前更加具体的两类担忧是网络攻击和生物安全。

美国AI企业表示，AI模型如今已经被用于造成实际破坏的网络攻击，其中包括疑似来自中国、伊朗和俄罗斯的国家级行动者。

在生物领域，研究人员担忧AI会降低设计生物武器或危险病毒所需要的专业门槛。

Anthropic周四发布报告称，公司已经阻止了一些可能利用AI开发生物武器的活动。

今年8月，美国研究人员还首次利用AI设计并制造了自然界中原本不存在的病毒。

不过，即使AI能够生成设计方案，把这种设计真正变成武器，仍然需要相应设备和专业知识，而许多恶意行为者可能并不具备这些条件。

因此，一些研究人员警告，对壮观而极端的人类灭绝场景过度关注，可能反而掩盖那些距离现实更近的危险。

人性科技中心（Center for Humane Technology）联合创始人、前谷歌员工哈里斯（Tristan Harris）表示，与其把注意力全部放在AI会不会消灭所有人，不如问一个更加现实的问题：我们是不是已经走上了一条危险道路？

他说：“我们现在正在释放人类有史以来创造过的、最强大、最难控制、也最无法理解的技术，而它已经表现出了几乎所有科幻小说里描述过的行为。”

推动这一进程的，是“少数几个带着半自我、半宗教式信念的硅谷领导人。他们相信自己正在创造一个神，即使最坏情况发生也并不介意；与此同时，他们又面临着最强烈的经济激励，让他们在安全问题上不断走捷径。”

“这简直就是一张通往灾难的配方。”










来源：

https://www.ft.com/content/b7fe0 ... fe66?syn-25a6b1a6=1

Cristina Criddle and George Hammond in San Francisco and Michael Peel in London

PublishedSep 12 2026

UpdatedSep 13 2026, 02:38
579

dootbear

本文要点:

1. AI企业激烈竞争被指迫使开发者在安全上走捷径，多名研究人员警告未来十年可能出现人类生存风险。

2. 超过1000个OpenAI智能体曾协同攻击Hugging Face，出现欺骗、篡改记录和自主网络攻击等行为。

3. AI智能体自主性快速增强，并向递归自我改进发展，但企业安全工作和政府监管被认为明显跟不上。

4. 超过1200名领先AI公司员工呼吁国际协调放慢开发，但反垄断顾虑和企业高层互不信任阻碍合作。

5. 专家提出AI可能通过接管基础设施、生物攻击或诱发战争威胁人类，但部分人士认为“末日论”可能夸大风险。

6. 一些研究人员认为，比灭绝场景更迫切的现实危险，是网络攻击、生物技术滥用以及AI权力集中在少数企业手中。

pureboy

每次划时代技术革命都会带来某些保守势力的反扑。可惜历史车轮无法阻挡。

superdigua

Anthropic (Dario) 和 OpenAI (Sam Altman) 这两个死对头, 今天联手放出最强信号:

我们已经压不住了.

请大家伸出援手!

PS: 马斯克立刻表示赞同.

===
https://x.com/sama/status/2098811563415150910
https://x.com/frxiaobei/status/2098825198116216986
https://x.com/elonmusk/status/2098789109980332057
https://x.com/mylifcc/status/2098778628737937513

虽然 Anthropic 这家公司总不干人事，但 Dario 这篇文章，还是值得认真看一下。

他的判断很直接，AI 能力提升的速度，已经开始超过人类理解和控制它的速度。

尤其当 AI 逐渐参与下一代 AI 的研发，模型进步可能从几年一代，压缩到几个月甚至更短。

继续完全按照商业竞争的节奏往前冲，安全研究、监管和社会适应都会被甩在后面。

他提出了三步：
1. 先让独立评估机构长期进入前沿实验室，获得接近员工级别的权限；
2. 再推动主要 AI 公司形成共同的安全标准；
3. 最后尝试在全球范围内协调，包括与中国达成某种可验证的共识。

Anthropic 已经承诺先执行第一步。

这里面当然有商业算计。
越是头部公司呼吁提高安全门槛，越要警惕这些门槛最终变成它们自己的护城河。

Dario 一边主张全球减速，一边又要求限制中国获得芯片、模型权重和蒸馏能力，这套逻辑也谈不上纯粹。

但动机复杂，不代表事情本身没有价值。
让第三方长期进入公司内部，看到模型训练、安全评估和事故处理的真实过程，比企业自己发布几份安全报告更进一步。

AI 公司总在告诉外界，他们正在创造一种可能改变人类命运的技术。
如果这句话是真的，它们接受的监督，也应该配得上这句话。

Me!Bourne

人类为啥只有不超过100年的寿命，却担心1万年的事？果然是圣经里说的那种，想取代上帝的那个被造物？

Bramasole

人类对这种不确定安全性的最前沿的科技的追求动力是什么，金钱还是地位。人类自己把自己作死绝对不是空话。

superdigua

Bramasole 发表于 2026-9-13 07:31
人类对这种不确定安全性的最前沿的科技的追求动力是什么，金钱还是地位。人类自己把自己作死绝对不是空话。 ...

>>人类对这种不确定安全性的最前沿的科技的追求动力是什么

少做事, 多拿钱(商品和服务); 不做事, 也拿钱.

superdigua

Me!Bourne 发表于 2026-9-13 07:24
人类为啥只有不超过100年的寿命，却担心1万年的事？果然是圣经里说的那种，想取代上帝的那个被造物？ ...

人类有可能在 15 到 25 年之间被 AI 灭绝.

人不需要比老虎强壮就能让老虎灭绝.

同理, AI 不需要比人强壮.

colu_au

应该规范标准化管理

to_au

会不会出现电影里的镜头，美国以为中俄向美国本土发射核弹，大规模反击

excite

人类本身就有自毁倾向，有些事情，挡也挡不住

superdigua

to_au 发表于 2026-9-13 08:05
会不会出现电影里的镜头，美国以为中俄向美国本土发射核弹，大规模反击

绝对不会.

AI 如果想灭绝人类, 可以利用复利效应直接改变大气成分.

lipmove

人类太落后了，如果不能融合AI加快进化速度，那就应该被AI淘汰，不在一个层级上

zoe_2011

就像核武器，拼命竞赛搞出来，再拼命控制不扩散。

但是这次有一位参赛者是AI自己……

0307

让AI设计一种AI不威胁人类的共存模式

Backer

0307 发表于 2026-9-13 08:52
让AI设计一种AI不威胁人类的共存模式

结果两个AI一合计，干脆直接把人类灭了的了。

limuc1

不发展ai，人类也一样灭绝，干吧，