美国大学研究:ChatGPT 的新闻搜索结果经常不准确

seekdeep1年前AI资讯401

据 The Verge 北京时间今日报道,美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

d50735fae6cd7b894bfb3455c3974aa8db330e97.jpg

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

据IT之家此前报道,今年早些时候,OpenAI 还宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。任何网站或出版商都可以选择出现在 ChatGPT 搜索结果中。达成合作的媒体和出版商包含美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和 Vox 媒体等等。

相关文章

周鸿祎:中国垂直领域AI大模型超过GPT-4完全有可能(两会访谈)

从去年初ChatGPT掀起人工智能(AI)大模型热潮,到今年初Sora以文生视频技术惊艳世界,国际尖端人工智能技术迭代迅速。中国该怎么走好自己的AI之路?“我觉得中国还是有优势的。”全国政协委员、36...

华尔街将迎投资新时代?小摩AI投顾IndexGPT正式上线 !

据媒体报道,摩根大通已经推出了一款名为IndexGPT的产品,该服务将依赖颠覆性的人工智能(AI)为客户提供投资建议。一年之前,摩根大通为IndexGPT申请了产品商标。根据文件,IndexGPT将利...

程序员被骗1.8万元,GPT写的代码竟有后门

程序员被骗1.8万元,GPT写的代码竟有后门

随着AI大模型技术的不断进步,众多职业的工作效率得到了显著提升。例如,在编程领域,这些先进的AI工具不仅能够协助程序员编写代码,还能高效地解决程序中的BUG,成为开发者们不可或缺的助手。然而,近期发生...

2025年9月1日起AI生成合成内容必须添加标识

近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《标识办法》),自2025年9月1日起施行。近年来,生成式人工智能、深度合成等新技...

马斯克为何要全力炮轰:苹果系统接入ChatGPT

苹果在全球开发者大会(WWDC 24)推出Apple Intelligence(苹果智能),并表示将与OpenAI合作,ChatGPT将整合到包括新一代iOS、iPadOS以及macOS中。对隐私的高...

微软Windows系统出现“史上最大规模IT故障”;OpenAI上线GPT-4o mini

NO.1 OpenAI上线GPT-4o mini7月19日,OpenAI突然官宣并上线了一款“小模型”GPT-4o mini,被团队描述为最智能、最实惠的模型,其性能和价格均已赶超GPT-3.5 Tu...