评估 ChatGPT 和其他大型语言模型检测假新闻的能力

大型语言模型(llm)是自然语言处理(NLP)技术的发展，它可以快速生成与人类编写的文本非常相似的文本，并完成其他简单的语言相关任务。在OpenAI开发的高性能LLM Chat GPT公开发布后，这些模型变得越来越受欢迎。

最近的评估LLM的研究主要测试了他们创作优秀文本、定义特定术语、撰写论文或其他文档以及生成有效计算机代码的能力。到目前为止，这些模型可能有助于人类解决其他各种现实世界问题，包括假新闻和错误信息。

威斯康星大学斯托特分校的研究员Kevin Matthe Caramancion最近进行了一项研究，评估了迄今为止发布的最知名的LLM检测新闻报道是真是假的能力。

Caramancion表示：“我最近论文的灵感来自于需要了解各种LLM在打击错误信息方面的能力和局限性。我的目标是严格测试这些模型在从制造中辨别事实方面的熟练程度，使用受控模拟和既定的事实核查机构作为基准。”

Caramancion说：“我们使用由独立事实核查机构提供的100条事实核查新闻组成的测试套件来评估这些大型语言模型的性能。“我们在受控条件下向模型展示了每一条新闻，然后将他们的回答分为三类：正确、错误和部分正确/错误。模型的有效性是根据他们与独立机构提供的经核实的事实相比，对这些新闻的分类准确程度来衡量的。”

近几十年来，虚假信息已成为一个关键挑战，因为互联网和社交媒体使信息的传播越来越迅速，无论信息是真是假。因此，许多计算机科学家一直在试图设计更好的事实核查工具和平台，让用户能够验证他们在网上阅读的新闻。

尽管迄今为止已经创建和测试了许多事实核查工具，但仍然缺乏一个被广泛采用和可靠的打击错误信息的模型。作为研究的一部分，Caramancion着手确定现有的LLM是否能够有效解决这一全球问题。

他特别评估了四个LLM的性能，即Open AI的Chat GPT-3.0和Chat GPT.4.0、谷歌的Bard/LaMDA和微软的Bing AI。Caramancion向这些模型提供了相同的新闻报道，这些报道之前经过了事实核查，然后比较了它们确定是真、假还是部分真/假的能力。

Caramancion说：“我们对主要LLM区分事实和欺骗的能力进行了比较评估。我们发现，OpenAI的GPT-4.0表现优于其他模型，这暗示了新LLM的进步。然而，所有模型都落后于人类事实核查者，强调了人类认知的不可替代价值。这些发现可能会导致人们更加关注事实核查领域的人工智能能力发展，同时确保与人类技能的平衡共生融合。”

Caramancion进行的评估表明，ChatGPT 4.0在事实核查任务上显著优于其他突出的LLM。在更广泛的假新闻库中测试LLM的进一步研究可能有助于验证这一发现。

研究人员还发现，人类事实核查人员的表现仍然优于他评估的所有初级LLM。他的工作强调，如果要将这些模型应用于事实核查，就需要进一步改进这些模型，或者将其与人类代理人的工作相结合。

Caramancion补充道：“我未来的研究计划围绕着研究人工智能能力的发展，重点是我们如何利用这些进步，同时不要忽视人类独特的认知能力。我们的目标是完善我们的测试协议，探索新的LLM，并在新闻事实核查领域进一步研究人类认知和人工智能技术之间的动态。”