Vectara 发布大模型幻觉率排行榜：GPT-4 3% 最低，谷歌 Palm 高达 27.2%

发布时间：2024-01-14 17:36:42

OK欧意app

欧意交易app是全球排名第一的虚拟货币交易所。

据机器之心 11 月 14 日报道，近日，专注于 AI 的 Vectara 平台发布大模型幻觉率排行榜。从榜单可以得知，GPT-4 的幻觉率最低，为 3%，而谷歌 Palm 的幻觉率高达 27.2%。据悉，为了确定这个排行榜，Vectara 使用各种开源数据集对摘要模型进行了事实一致性研究，并训练了一个模型来检测 LLM 输出中的幻觉。他们使用了一个媲美 SOTA 模型，然后通过公共 API 向上述每个 LLM 输送了 1000 篇简短文档，并要求它们仅使用文档中呈现的事实对每篇文档进行总结。在这 1000 篇文档中，只有 831 篇文档被每个模型总结，其余文档由于内容限制被至少一个模型拒绝回答。利用这 831 份文件，Vectara 计算了每个模型的总体准确率和幻觉率。

（责编： admin）

免责声明：本文为转载，非本网原创内容，不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。

如有疑问请发送邮件至：goldenhorseconnect@gmail.com

Vectara 发布大模型幻觉率排行榜：GPT-4 3% 最低，谷歌 Palm 高达 27.2%

OK欧意app

相关阅读

最新文章

币圈知识推荐