“令人恐惧”：误导性信息与AI幻觉如何渗透澳洲国会

edith921

澳洲政府的问询程序本应通过听取专家和选民的意见，帮助国会做出更好的决策。但澳洲《卫报》揭露该系统正被生成式AI材料所淹没，这些材料正在虚构研究，并将不存在的研究归咎于真实的学术学者和作者。

在某些情况下，委员会的报告引用了其中大部分来源似乎都是AI生成的“幻觉”的提交材料，即大语言模型虚构了看起来真实但实际上并不存在的内容。

澳洲国立大学监管与全球治理学院教授Christian Downie表示如果这种现象持续下去，国会议员将面临“基于不存在的证据做出决策”的重大风险。

包括谷歌搜索在内的AI服务使情况变得更加混乱。此前，查找一个虚构的文献可能会返回表明该文献不存在的结果。现在，谷歌的AI摘要有时会像对待真实文献一样为虚构的文献生成摘要。

在某些情况下，谷歌的AI摘要和ChatGPT还会引用含有虚假文献的问询提交材料作为来源，从而形成误导性信息的持续循环。

一份提交给针对家庭暴力和自杀调查的问询材料中，包含了一个归为昆士兰大学副教授兼临床心理学家Divna Haslam的虚幻文献，并错误地陈述了她团队的研究发现。

研究儿童和家庭逆境与虐待问题的Haslam表示该文献“令人恐惧”，因为它看起来如此真实，以至于粗略看一眼的人可能会被说服。谷歌的AI摘要甚至像对待真实论文一样对其进行了总结。

该提交材料的作者Drilldown Reports告诉《卫报》说在研究过程中使用了AI，并在其后续提交材料中发现了错误——但修改这些错误的截止日期已经过去。

Haslam表示这种现象不仅有降低合法研究价值的风险，而且如果误导性信息进入政府政策，还会带来严重风险。“特别是在（家庭暴力）领域，”她表示。“我们根本不能冒这个风险。”

数十份提交材料包含错误

该论文只是《卫报》通过构建一个计算机程序识别出的几十篇论文之一，该程序从向本届国会提交的所有问询材料中提取文献，并对照多个在线学术数据库核对这些文献。

被标记为高比例文献无法匹配任何内容的文件随后接受了人工检查。

使用这些方法，《卫报》发现至少有39份向政治问询提交的材料包含看起来是幻觉生成的文献。

这些发现是对政治程序中AI生成材料数量的保守估计，因为它只识别了包含错误引用的提交材料。例如，这种方法无法发现使用AI生成文本但没有任何文献引用的文件。

作为大语言模型被使用频率的另一个迹象，100多篇论文在引用链接中包含了ChatGPT的网址标签，这些标签是该平台在其结果中自动添加的。

包含AI生成材料的提交材料范围广泛，从包含少量错误引用的文件，到引用的每一篇文献都不存在的文件。这些作者们是跨越政治光谱的个人和组织。

当《卫报》联系相关责任人和组织时，许多人没有意识到AI会以这种方式出错，或者意识到了出错的可能性，但在提交文件前遗漏了它们。

破坏信任

政府将如何应对旨在影响政策的材料中AI生成的错误，或者他们是否有工具和资源来识别这些错误，是一个新兴的问题。去年，在揭露AI工具在一份价值44万澳元的报告中包含了虚假文献甚至虚假法院文献后，咨询巨头德勤向联邦政府退还了部分费用。

Downie表示如果政府提交材料甚至法院判决等公开文件被发现包含虚假材料或虚假引用，其影响可能超出糟糕的决策本身。

“我们也在开始削弱公众对支撑我们民主制度的那些机构的信任和信心，”他表示。

虽然误导性主张或虚构引用并不是新问题，但对大语言模型的更大范围获取已使这一问题达到了前所未有的水平。

参议院针对问询提交材料的建议警告称，使用AI可能会对信息的质量带来风险，准确性是提交者的责任。

《卫报》询问了OpenAI和谷歌，这些公司正在如何努力应对其在传播误导性信息方面的角色。

OpenAI表示解决幻觉是一个持续的研究领域，用户应该“将ChatGPT用作初稿，而不是最终来源”，确保核实了对外部文件的引用、数据或文献。

谷歌发言人表示AI Overview的运行方式“与传统搜索类似”，因为它们旨在将网络上的内容与查询中的词语进行匹配：“AI Overview——就像传统的蓝色链接结果一样——将寻找并呈现包含这些术语的网页。”


https://www.theguardian.com/aust ... stralian-parliament

helenazy

大概最近的决策都是根据假报告搞得，不寒而栗。

IT专业人士也不是人人都能正确使用AI

gavinavailable

garbage in garbage out. 等以后网上充斥着ai生成的东西而人类无法分辨真假的时候......

groper

去AI将来可能会成为一个大生意，支持美股再翻几倍。

fiony

AI跟核弹一样，更方便操控人类的大多数。
一个肉体的操控，一个是思想的操控。

limuc1

KPMG: 我是专家，听我的，
Chatgpt： 他的，也是我写的，还不如直接买我的，
金三胖：我都是想一出是一出，

headwear

看AI的報告有時要用邏輯, 但,如果沒有,那就算了......

suke06

我就在想到时候财长会不会甩锅说房租涨2刀一周也是因为用了AI提供的虚假数据。

xq052b

superdigua

很多很多人偷偷用 AI 的见解冒充自己的见解.
例如, 他们不会声明帖子里哪些话来自于 AI, 哪怕是原文复制.

pureboy

大概所谓的税改也是幻觉搞出来的。

pureboy

xq052b 发表于 2026-9-1 12:45

幻觉害死人。

Flyingfree

【大语言模型虚构了看起来真实但实际上并不存在的内容。】这个早在GPT刚出来时的早期版本就已经出现了。。。。难道，他们都没有这个认知？

当然，我在FB上还见人用AI的资料，然后对我说：AI的资料都是真实可信的，不会造假，我表示：呵呵。

tony111

suke06 发表于 2026-9-1 12:21
我就在想到时候财长会不会甩锅说房租涨2刀一周也是因为用了AI提供的虚假数据。 ...

极有可能，ai是完美的背锅侠，不会为自己抗辩的。

bjcxyd

重要的事情还是要自己亲自研究，ai还没到那个程度

Ncwh

虚构研究

dootbear

看来，财政部写的五月税改，肯定是AI写的了。

yzh1999

说得像本来国会不是幻觉一样

利马克

三十岁以下不能用ai

zz_sg

我说让AI帮我重新布置一下房间家具，好家伙，房间尺寸不问，家具尺寸也不问，门的位置也不问，就凭照片出方案。你以为空间是橡皮筋围出来的吗？想要多大就能抻多大。按AI的方案我还缺间房:dizzy:

lxk

这才是开始，以后澳洲各大公司都会被大哥的AI破解掌控

fuyao