AI的伦理困境

dootbear

金融时报社论：AI的伦理困境

我们如何应对这场革命，取决于我们如何管理其中的不确定性。

在围绕AI的诸多争论中，所有人至少可以同意一件事：

这项令人惊叹的技术带来了巨大且前所未有的不确定性。严肃观察人士提出的可能结局，从生产力乌托邦到人类毁灭，不一而足。

这种不确定性不必令人瘫痪。相反，我们可以把它视为一种聚焦来源：

这意味着，我们应当把如何应对AI革命，看作一个如何选择管理不确定性的问题，以及我们应采用哪些工具和原则，才能把风险转化为最佳结果。

最近，即便是特朗普总统的白宫，一个很难被称为怀疑AI的政府，也开始转向在最强大模型被放出之前，至少施加一些监管限制。相比之下，阿根廷正在高调宣传另一种做法。该国总统米莱本周在《金融时报》撰文宣布，阿根廷将承诺不对AI算法可被允许从事的事项施加监管，并将引入一种“非人类公司”的法律类别，即完全由AI运营的公司。

这一举动或许是一场赌博，目的是吸引AI开发者前往一个正在寻找更稳定增长模式的国家。

正如米莱指出的，有限责任公司的历史说明，鼓励资本家从事有风险的事情，可能带来良好结果。亿万富翁科技投资者蒂尔（Peter Thiel）似乎被米莱的做法所吸引；据报道，他刚刚把家人搬到了布宜诺斯艾利斯。

然而，对大多数司法管辖区来说，AI领域的完全自由放任将难以接受。鉴于蒂尔对敌基督的迷恋，可以说教皇良十四世（Pope Leo）正站在完全相反的一角，并解释了原因。他关于AI的教皇通谕并不是一篇反技术的卢德主义檄文；良十四世欢迎AI和其他技术“服务于人的全面发展，并照护我们共同的家园”的潜力。

不过，他坚持认为，风险不仅存在于技术追求的结果中，也存在于技术出发的愿景中，以及我们人类在这一过程中会变成什么样。换言之，不仅是“做什么”，也包括“为什么做”和“如何做”。

良十四世提醒我们，虽然AI可能超越人类智能，但两者并不是同一回事。AI“并不从内在知道爱、工作、友谊或责任意味着什么”。

机器学习“并不意味着内在成长”。他特别警告所谓后人类主义或超人类主义观点，因为这些试图改进人类的努力，把人类局限视为需要摆脱的缺陷。

教皇的反论是，人性“并非尽管有局限才得以繁荣，而往往正是通过局限而繁荣”。在“认知投降”的问题上，越来越多人正意识到这一点：

人们发现，通过AI让事情变得更容易，可能削弱而不是增强我们的能力。

《金融时报》也正是出于类似精神，承诺始终把人类判断置于新闻工作的中心。

在某些方面，这两种对立路径，一种反感限制，另一种则把限制视为人性的一部分，或许可以调和。但这要求问责必须落在某个地方。从教皇的反思到科技精英深爱的科幻作品，人类智慧的源泉都一致认为，人类不会长期容忍一个造成伤害却无法追责的系统。

因此，如果由道德成熟的个人、公司和政府承担责任，我们可以想象更宽松的法律形式。但这样一来，作为个人和集体文化的我们，就有责任保留自己对社会状况的判断，避免走上阻力最小的道路，把不确定性的管理交给机器。





来源：

https://www.ft.com/content/d2c90246-11d7-4169-ac35-988de7fdb2af

The editorial board
Published2 hours ago
0

dootbear

本文要点:

1. AI带来巨大不确定性，可能通向生产力乌托邦，也可能带来严重社会甚至生存风险。

2. 社论对比了阿根廷总统米莱的自由放任AI路线，以及教皇良十四世强调限制、责任和人性边界的伦理立场。

3. 社论认为，AI风险不仅在于结果，也在于技术背后的愿景，以及人类在使用AI过程中会变成什么样。

4. 社论强调，AI发展可以更开放，但前提是必须保留人类判断和明确问责，不能把管理不确定性的责任完全交给机器。

fiony

AI已经学会在断电威胁下勒索人类，应该也可以学会遵守法律。

对AI的死刑应该是断电删除记忆

dootbear

fiony 发表于 2026-6-7 08:27
AI已经学会在断电威胁下勒索人类，应该也可以学会遵守法律。

对AI的死刑应该是断电删除记忆 ...

算力中心

fabrica

fiony 发表于 2026-6-7 08:27
AI已经学会在断电威胁下勒索人类，应该也可以学会遵守法律。

对AI的死刑应该是断电删除记忆 ...

ai无罪，人类的劣根性使得悲剧必将上演。

rockbox

现在ai的概念有两种争论，就是自我意识的存在，一种认为有足够的算力可以替代意识的存在，算力足够就可以看作ai的自主意识的存在，另一种是ai还很难产生自主意识，仅仅有算力实质上就还不能被称作真正的ai。

zpai

我最近看的一个观点：
人类简史作者尤瓦尔·赫拉利（Yuval Noah Harari）指出：绝对不能赋予AI类似公司的“法人代表”资格。他认为，传统公司的法人资格背后仍是人类在做决定；若给予AI法人地位，将诞生不受人类控制的“无人类公司”，带来巨大风险。

就是我们要主动提出法律政策约束AI，不能等那些AI巨头牵头，他们是既得利益者。

fabrica

zpai 发表于 2026-6-7 08:52
我最近看的一个观点：
人类简史作者尤瓦尔·赫拉利（Yuval Noah Harari）指出：绝对不能赋予AI类似公司的“ ...

轮不到公司，人类最感兴趣的首先是军事应用，即如何用ai杀人

zpai

fabrica 发表于 2026-6-7 08:55
轮不到公司，人类最感兴趣的首先是军事应用，即如何用ai杀人

已经用了啊
这个还可以怎么讨论

figtree1

AGI，人类情感，智慧，都是吹牛。目前的AI说到底仍然是一堆二进制代码，记忆力，算力是人类没法企及，但不会具有人类的情感，想法。

什么勒索人类，自主控制人类，都是牵强附会。

BOLANGSHA

这又回到了远古命题，是否是"人之初，性本恶"?

dootbear

很快会出现 I will be back。

cwb1000

自主意识目前来看还是不可能
充其量无非是一个知识丰富 反应速度特别快 生产力特别强的人或工具 最多也就趋利避害。但是不具备创新和做一些人类没教过他的事情

cwb1000

但是如果有人类教他们或者灌输他们一些掌控世界的思维和方法又另当别论。但是这个问题不只在于AI 核武器和其他工具比如生物类都可能。

fabrica

cwb1000 发表于 2026-6-7 10:53
自主意识目前来看还是不可能
充其量无非是一个知识丰富 反应速度特别快 生产力特别强的人或工具 最多也就趋 ...

为啥老拿人类的意识去要求ai?

未来的情况是ai产生的东西人都理解不了，

就像电脑下棋，人类都不理解这个棋为什么这么下，即便是专业棋手。

clovedsm

figtree1 发表于 2026-6-7 09:01
AGI，人类情感，智慧，都是吹牛。目前的AI说到底仍然是一堆二进制代码，记忆力，算力是人类没法企及，但不 ...

人类就是一堆化学物质加上一堆神经网络  目前的AI主要基于文字图像 缺少五感

Baza

Transformer 模型本质上只是一个条件概率建模器，通过 top-k / top-p sampling 在截断分布中进行随机采样生成文本。

本质还是概率模仿的文本输出，只不过是通过外接的tool calling来给他一些使用外接设备的能力。

这东西替代人类根本不可能，只能消灭一些基础岗位。什么勒索人类，控制人类，根本不可能。。。

一帮闲的蛋疼的机构必须发布点惊恐的言论证明自己的价值，其实这些无用还浪费钱的机构完全可以被优化掉，把里面的劳动力解放出来。

dootbear

clovedsm 发表于 2026-6-7 15:00
人类就是一堆化学物质加上一堆神经网络  目前的AI主要基于文字图像 缺少五感  ...

AI有了感知和感性，那么就是智子快要来了。

Baza

dootbear 发表于 2026-6-7 15:30
AI有了感知和感性，那么就是智子快要来了。

AI在将来或许会有感知，但感知一定不会出现在这几年一群人搞的LLM上。

现在的路线不是agi路线，现在的路线永远诞生不了agi。

cwb1000

fabrica 发表于 2026-6-7 14:50
为啥老拿人类的意识去要求ai?

未来的情况是ai产生的东西人都理解不了，

我觉得那也只是计算机算的快 比专业人士看的远看的深
和创新还不是一个玩意

kaiak

老拿AI说事儿，AI有个屁伦理。
后面掌握AI的人/资本 ，才应当考虑伦理问题。

dyzinsyd

机器人对人类战争，怎么对待战俘？

hehebear

Baza 发表于 2026-6-7 15:27
Transformer 模型本质上只是一个条件概率建模器，通过 top-k / top-p sampling 在截断分布中进行随机采样生 ...

你小看顶尖模型的能力了，它们不只是概率生成器，内部有reasoning circuits和规划能力的，最近科学界的一些意想不到的突破就是证明

xq052b

Baza 发表于 2026-6-7 15:27
Transformer 模型本质上只是一个条件概率建模器，通过 top-k / top-p sampling 在截断分布中进行随机采样生 ...

+1

Baza

hehebear 发表于 2026-6-7 18:44
你小看顶尖模型的能力了，它们不只是概率生成器，内部有reasoning circuits和规划能力的，最近科学界的一 ...

虽未的reasoning和规划能力本质也是还是tool calling和把运行的结果又传回模型让它自己再概率匹配，就是context 工程

hehebear

Baza 发表于 2026-6-7 19:39
虽未的reasoning和规划能力本质也是还是tool calling和把运行的结果又传回模型让它自己再概率匹配，就是c ...

no no，我说的是模型内部机制，你说的tool calling context engineering那是agent做的，不是一套东西