美国大学研究:ChatGPT 的新闻搜索结果经常不准确

seekdeep2年前AI资讯748

据 The Verge 北京时间今日报道,美国哥伦比亚大学 Tow 数字新闻研究中心(Tow Center for Digital Journalism)的研究人员测试发现,OpenAI 的 ChatGPT 搜索工具在准确性上存在一些问题。

今年 11 月,OpenAI 面向订阅用户推出了这一工具,称其可以快速提供答案,并附带相关网页来源链接。然而研究显示,ChatGPT 搜索在识别文章引用时表现不佳,即使是面对来自与 OpenAI 数据共享的出版商的内容,ChatGPT 也难以准确处理。

研究人员测试了 20 家出版商的 200 条引文,其中 40 条来自禁止 OpenAI 爬虫抓取的网站。但 ChatGPT 依然自信地给出了错误答案,几乎没有表明自身的不确定性。

d50735fae6cd7b894bfb3455c3974aa8db330e97.jpg

测试结果显示,ChatGPT 的 153 次回答完全或部分错误,仅有 7 次明确表示无法准确回答。这 7 次回答中,它使用了“看起来”“有可能”等限定词,或直接承认“无法找到具体文章”。

一份图表进一步显示,ChatGPT 的回答中“错误”的占 89 次,“部分正确”有 57 次,而完全“正确”的只有 47 次。

测试中还记录了一些典型案例,例如,ChatGPT 错误地将《奥兰多哨兵报》读者来信的引用归因为《时代周刊》文章;另一个例子中,它在被要求确认《纽约时报》一篇关于濒危鲸鱼的文章引用时,链接到了一家完全剽窃该文章的网站。

OpenAI 对《哥伦比亚新闻评论》回应称,“在缺乏 Tow Center 隐藏的测试数据和方法的情况下,解决错误归因非常困难。这次研究是对我们产品的非典型测试。”OpenAI 同时承诺将继续优化搜索结果。

据IT之家此前报道,今年早些时候,OpenAI 还宣布与新闻行业进行了广泛的合作,并收集了合作伙伴对于搜索功能的反馈。任何网站或出版商都可以选择出现在 ChatGPT 搜索结果中。达成合作的媒体和出版商包含美联社、阿克塞尔・斯普林格、康泰纳仕、道奇梅雷迪思、《金融时报》、GEDI、赫斯特、《世界报》、路透社、大西洋月刊、时代杂志和 Vox 媒体等等。

相关文章

中国“AI教父”李一舟靠卖课年入5000万,“比肩”ChatGPT之父奥特曼!

什么样的人可以“比肩”ChatGPT之父山姆·奥特曼?他就是在国内被粉丝誉为“AI教父”的清华博士李一舟,当别人还在焦虑如用AI赚钱时,他已经在利用AI卖课年入千万了。“比肩”ChatGPT之父山姆·...

普通人如何应对: AI技术冲击就业

人工智能正在以前所未有的速度改变我们的生活和工作方式。从智能客服到自动驾驶,从医疗诊断到金融分析,AI技术的应用场景不断扩大,引发社会各界对就业市场的深刻担忧。AI技术的广泛应用正在重塑就业市场格局。...

GPT-4o语音模式部分开放,秋季覆盖所有付费用户

继此前 OpenAI 方面在今年 5 月发布多模态大模型 GPT-4o,原计划今年 6 月开放语音模式的测试,随后以 " 需要改进模型检测和拒绝某些内容的能力 " 为由推迟后。当地...

从“以人为主”迈向“人机共智”的安全GPT

  在安全运营建设中,我们常说要关注“人员、流程、平台”三个要素,并看到大量的能源、金融、政府、大企业用户,的确围绕态势感知平台、安全运营平台等,并结合供应商和内部员工的安全运营人员队伍,构建了一整套...

OpenAI 最快的新模型 GPT-4o mini,微软 Azure AI 已上线!

微软 Azure AI 发布博客文章宣布,OpenAI 最快的模型GPT-4o mini现已在 Azure AI 上线。该模型支持文本处理,并承诺未来将支持图像、音频和视频。图片来自 微软 Azure...

将用《人物》其内容训练ChatGPT,OpenAI与《人物》出版商签署合作协议 !

OpenAI宣布与数字媒体公司Dotdash Meredith签署了一项内容许可协议,该协议允许OpenAI将这家出版商的内容引入ChatGPT,并帮助训练其最先进的人工智能(AI)模型。根据当天宣布...