震惊了！ChatGPT全程编造参考文献造假！

honester

一时偷懒，让chatGPT写一篇文献综述，并附带参考文献，它制造出一篇，像模像样的，还有完整的15篇文章，有作者有期刊页数的。

挺高兴的，让它列出link，也列出了，然后每个点击，都是驴唇不对马嘴！

这才发现问题严重了

然后把参考文献一个个用google搜，倒吸一口凉气，全是假的，一个真的都没有，都是不存在的作者和文献，胡编的！

什么人工智能，就是造假大师，根本不思考，胡编乱造的

fisherman

估计是它觉得你写论文要偷懒，就也偷懒一下了

shn2016

我也发现了，写代码各种无中生有，反馈两边后又犯了第一次的错误，勉强提供思路还可以。

阿麟

的确如此， 试过搜索一个科技单位的信息，后来突发奇想， 写一个假名字问一下， ChatGPT居然就开始胡编乱造说 这个“人”是在这个科技单位里任副职， 履历一大堆，真是够可以的。

Bessy

正常的LLM hallucinations现象。人类优秀就是因为会虚构故事。语言模型要超过人类就必须更会虚构。

marrow

所以说，ChatGPT最大的作用就是帮你修饰一下语言，最多调整一下文章结构。文章内容和观点绝不能让它来，各种胡编。

董建奎

"驴唇不对马嘴"？

DDD888

我感觉问题的关键是chatgpt没有独创性，都是人云亦云，都是大家都知道的普通方案，例如人一定要喝水才可以活等毫无价值的信息

工具终归是工具，要看使用的人，在合适的地方使用适当的工具，例如impact driver做围栏拧螺丝一级了，但绝对不能用在拆装计算机笔记本的螺丝上，同理chatgpt也不适合所有的领域啦，用来写写英文抱怨服务差的信应该是绰绰有余，我用过啦，很好，一家新西兰私人医院想强行收我根本就没有提供英文翻译口译的服务340新西兰元，我用chatgpt写了封信，取得的结果是得到了道歉，不用付没有的服务费用，chatgpt在这件事上非常好，主要是我聪明，选择chatgpt这工具来写这抱怨信

同理，我现在在学习汇编语言编程，我也使用chatgpt帮助我学习，效果非常好，但如果我让chatgpt自动生成汇编语言来自动驾驶汽车，就显然会失败啦

Poweregg

哈哈，是这样的
我以前给他一个名字，问是谁，他编的一本正经的
我指出不对后，他又继续瞎编

HolyHH

目前还没有发现AI有“I”。

honester

修改一个文章，写一个简单的邮件，可以完成的不错

一旦涉及有点专业知识的创新能力，就开始胡诌

像极了某些了领导

DDD888

honester 发表于 2024-8-5 09:05
修改一个文章，写一个简单的邮件，可以完成的不错

一旦涉及有点专业知识的创新能力，就开始胡诌

我的使用体会是网上广为传播的知识，例如csharp排序，chatgpt可以给出完美的答案，但极少共享的知识，例如raspberrypi pico w arm汇编语言编程，简单的循环，根本就给个intel x86汇编的答案，牛头不对马嘴，毫无参考意义，问题是我不需要网上广为传播的知识

其实这是完全在意料之中的，真正的知识是在实践无数次失败中获取，并非是简单的将几个不同的知识拼在一起就可以创新了，chatgpt充其量就是个高智能检索生成问题领域的类似答案的检索啦，但许多领域是差之毫厘,谬以千里

rayki

很正常么， 第一代AI是从人类这里拿数据学习，合理。 当数据不够的时候，就会转向胡说八道了，然后第二代，3代如果从第一代AI哪里拿数据，就坏了，后面就是大数据模型的崩塌， 现在ChatGPT这个迭代速度已经有这个潜在的趋势了。

DDD888

rayki 发表于 2024-8-5 09:27
很正常么， 第一代AI是从人类这里拿数据学习，合理。 当数据不够的时候，就会转向胡说八道了，然后第二代， ...

是呀，随着广告收入的消失，谁会无偿把自己的知识供应给人工智能系统作为培训数据，毕竟以前看在钱的份上，现在广告的钱都拿不到了，再这样做，那人脑子真叫是坏了

问题是人面临的问题是一直在改变的，并没有广谱的答案适用有限的问题。

rayki

DDD888 发表于 2024-8-5 09:40
是呀，随着广告收入的消失，谁会无偿把自己的知识供应给人工智能系统作为培训数据，毕竟以前看在钱的份上 ...

AI迭代速度过快了，已经失去控制了，很快可用的学习数据就会不够用了， 下一步不知道该咋办了，哈哈。

DDD888

rayki 发表于 2024-8-5 09:44
AI迭代速度过快了，已经失去控制了，很快可用的学习数据就会不够用了， 下一步不知道该咋办了，哈哈。
...

这样挺好的

wwgjc

适合把自己找好的文献发给它总结/帮你phrase，暂时还没办法直接让它自己生成……不好偷懒啊哈哈

zn7726

找他写完整文章，第一遍告诉他要写什么，给点上下文细节，他写出来也就是提供思路，然后每一条都要自己看，提供新的素材和思路，再让他改。不过的确已经省了很多事了。

lisam

这不是很像人类吗？

0k0k

因为chatGPT并没有智力

它只是数据量足够大，记忆力足够强，能从上下文中蒙对你大概最想要的东西而已

DDD888

0k0k 发表于 2024-8-7 22:05
因为chatGPT并没有智力

它只是数据量足够大，记忆力足够强，能从上下文中蒙对你大概最想要的东西而已 ...

这样太棒了

linzh

而且基本只会给比较过时的文献

企鹅男孩

chatgpt经常性的胡说八道

doria妞妞

不能用chatgpt写论文的，特别是学术性论文，都需要深加工，所以还不如自己搞定

zhongbingo

这是智能的表现

woshixinren

也会撒谎

swe

OpenAI发布公告表示，已经监测到出现了问题，对ChatGPT的胡言乱语正在进行调试。

NonSense

大型复读机

Flyingfree

DDD888 发表于 2024-8-5 06:50
我感觉问题的关键是chatgpt没有独创性，都是人云亦云，都是大家都知道的普通方案，例如人一定要喝水才可以 ...

上次去公园玩，找不到停车位于是就PARK在了隔壁路那头，结果回来吃了一张罚单，于是我写了个缘由让GPT给润色了一下。。。结果很显著，开单的COUNCIL说他们犯了个错误，这单子取消掉了。。。省了两百大洋，心中一片舒畅

RADEON

任何时事类的信息都要小心。不断指出他是错的，不断道歉继续错误信息。