ChatGPT改版后变得“更笨”了？

OpenAI广受欢迎的大型语言模型被《面向未来:自动化时代人类的9条规则》一书的作者凯文·卢斯誉为“有史以来向公众发布的最好的人工智能聊天机器人”，被英伟达首席执行官黄仁勋誉为“计算机领域有史以来最伟大的成就之一”。

ChatGPT在为用户的询问提供自然回应方面做得非常好，一些人认为它已经正式通过了图灵测试，这是一项衡量机器实现人类智能能力的长期指标。ChatGPT在众多领域的成绩考试中得分最高:数学(第89名)、法律(第90名)和GRE语言(第99名)。纽约大学医学院的研究人员在2023年7月初报告说，ChatGPT为医疗保健相关问题提供的建议与人类医务人员提供的建议几乎没有区别。

但斯坦福大学和加州大学伯克利分校的研究人员还没有完全准备好委托ChatGPT进行任何关键决策。陈令娇、马泰·扎哈里亚和詹姆斯·朱表示，ChatGPT的表现并不稳定，这与最近用户表达的越来越多的担忧相呼应。在某些情况下，情况正在恶化。在7月18日发表在arXiv预印本服务器上的一篇论文中，研究人员表示，“GPT-3.5和GPT-4的表现和行为差异很大”，并且在某些任务上的反应“随着时间的推移变得越来越差”。他们注意到，从3月到6月的四个月期间，业绩发生了重大变化。

下图为：GPT-4和GPT-3.5的2023年3月和2023年6月版本在四项任务上的性能对比

研究人员专注于几个领域，包括数学问题解决和计算机代码生成。在2023年3月，GPT-4处理素数问题的准确率达到了97.6%。斯坦福大学的研究人员称，当使用2023年6月更新的模型时，这一比例暴跌至2.4%。ChatGPT因其帮助编码人员解决编程和调试问题的能力而获得了广泛的赞誉。今年3月，GPT-4通过完成准确的、可运行的脚本来响应编码员的请求，这一比例略高于50%。但到了6月，这一比例降至10%。Chat-GPT-3.5的准确率也显著下降，从3月份的22%降至6月份的2%。有趣的是，ChatGPT-3.5在数学能力方面显示出几乎相反的结果：3月份的素数问题解决准确率仅为7.4%，6月份的升级版达到了86.8%。

朱说，很难确定原因，尽管似乎很明显，系统修改和升级是因素。“我们并不完全了解是什么导致了ChatGPT的反应变化，因为这些模型是不透明的，”朱说。“调整模型以提高其在某些领域的性能可能会产生意想不到的副作用，使其在其他任务上变得更糟。

”阴谋论者已经注意到一些结果的恶化，他们认为OpenAI正在试验替代的、更小版本的llm，以节省成本。还有人猜测，OpenAI有意削弱GPT-4，这样沮丧的用户就会更愿意为GitHub的LLM配件CoPilot付费。

OpenAI驳斥了这种说法。上周，OpenAI产品副总裁Peter Welinder在推特上说:“我们并没有让GPT-4变得更傻。恰恰相反:我们让每一个新版本都比上一个更智能。”他提出了另一个理由。“当你更频繁地使用它时，你开始注意到你以前没有看到的问题。“与此同时，一些观察人士担心模型结果的破坏性“漂移”会带来影响，他们正在推动OpenAI披露ChatGPG 4.0背后的培训材料来源、代码和其他结构元素。人工智能公司hug Face的萨沙·卢奇奥尼(Sasha Luccioni)解释说:“封闭源模型的任何结果都是不可复制和不可验证的，因此，从科学的角度来看，我们是在比较浣熊和松鼠。”她最近在接受ARS Technica采访时表示:“科学家不需要持续监测已部署的法学硕士。”“模型创建者应该允许访问底层模型，至少出于审计目的。”

信息来源于：中国科学院学报(2023）