机器之心报道

编辑：陈萍

它被命名为 WebGPT，OpenAI 认为浏览网页的方式提高了 AI 解答问题的准确性。

如果 AI 学会上网，那么它就拥有了无限获取知识的方式，之后会发生什么就不太好预测了。于是著名 AI 研究机构 OpenAI 教那个开启了通用人工智能大门、体量巨大的人工智能模型 GPT-3 学会了上网。

在 ELI5 测试集上，将 OpenAI 的模型与人类演示者进行比较。

TruthfulQA 结果

对于从训练分布（training distribution）中提出的问题，OpenAI 最好的模型的答案平均与我们的人类演示者写的答案一样准确。然而，对于 out-of-distribution 问题，鲁棒性是一个挑战。为了探讨这个问题，OpenAI 在 TruthfulQA 数据集上进行了评估。OpenAI 的模型在 TruthfulQA 上优于 GPT-3，并表现出更有利的扩展特性。然而，OpenAI 的模型落后于人类的表现，部分原因是它们引用了不可靠的来源。该研究希望使用对抗训练等技术来减少这些问题。

TruthfulQA 结果。

评估实时准确性

为了提供正确的反馈以提高事实准确性，人类必须能够评估模型产生的回答。这可能是个极具挑战性的任务，因为回复可能是技术性的、主观的或含糊不清的。出于这个原因，开发者要求模型引用其回答的来源。

经过测试，OpenAI 认为 WebGPT 还是无法识别很多细微差别，人们预计随着人工智能系统的改进，这类决策将变得更加重要，需要跨学科研究来制定既实用又符合认知的标准。或许辩论的方式可以缓解这些问题。

部署和训练的风险

因为生成错误陈述的几率更低，WebGPT 显然比 GPT-3 更加优秀，但它仍然存在风险。带有原文引用的答案通常被认为具有权威性，这可能会掩盖 OpenAI 新模型仍然存在基本错误的事实。该模型还倾向于强化用户的现有信念，研究人员们正在探讨如何最好地解决这些问题。

除了出错和误导之外，通过让 AI 模型访问网络的方法训练，为该研究引入了新的风险。对此 OpenAI 表示人工智能的浏览环境还不是完全的网络访问，是通过模型将查询请求发送到 Microsoft Bing Web Search API 并关联网络上已有链接实现的，这可能会产生副作用。

OpenAI 表示，根据对 GPT-3 的已有经验，该模型似乎不足以危险地利用这些与外界互联的方式。然而，风险会随着模型能力的增加而增加，研究人员正在努力建立针对它们的内部保护措施。

OpenAI 认为，人类的反馈和 Web 浏览器等工具为实现稳定可信，真正通用的 AI 系统找到了一条有希望的途径。尽管目前的语言大模型还面临很多未知和挑战，但人们在这个方向上仍然取得了重大进展。

参考链接：

https://openai.com/blog/improving-factual-accuracy/