机器之心报道

编辑：张倩、小舟

GPT-3 对一些问题的回答令人大跌眼镜，但它可能只是想要一句「鼓励」。

「一个玩杂耍的人总共有 16 个球，其中一半是高尔夫球，高尔夫球中又有一半是蓝色的球，请问蓝球总共有多少个？」

对于一个小学生来说，这是一道再简单不过的数学题。但看似无所不能的 GPT-3 却被这道题难住了。

如果你输入这个问题之后，直接向 GPT-3 发问：「问题的答案（阿拉伯数字）是：__？」它会「不假思索」地给出一个错误答案：8。

GPT-3：你别说准不准，你就说快不快吧。

怎么能让 GPT-3 稍微「动动脑子」呢？想想我们上学的时候老师是怎么做的。

一般来说，优秀的老师会在我们做错题时鼓励我们「再回去想想」，或者帮我们理清解题步骤。同样的，我们也可以这么对 GPT-3。

东京大学和谷歌大脑的一项联合研究表明，只要在答案前加一句「 Let’s think step by step 」，GPT-3 就能给出上述问题的正确答案，而且它还自己理清了解题步骤。

当然，在深度学习领域，这种「咒语」有个统一的名字——「prompt」。

prompt 和 prompt 工程是近年来非常火的话题，它可以帮助我们控制模型的预测输出。合适的 prompt 对于模型的效果至关重要，大量研究表明，prompt 的微小差别，可能会造成效果的巨大差异[1]。比如在下面这个卫星图片识别的例子中，我们仅添加一个「 satellite（卫星）」，就能把模型的准确率提升 13% 。

图源：《 Learning to Prompt for Vision-Language Models 》

不过这一次，东京大学和谷歌大脑的研究者又把 prompt 的妙用推到了新的高度。

论文链接：https://arxiv.org/pdf/2205.11916.pdf

佐治亚理工学院 ML 博士 Aran Komatsuzaki 开玩笑说，这说明了「『Let’s think step by step』is all you need」。

不过，对于「Let’s think step by step」为何如此奏效，谷歌大脑研究科学家 Denny Zhou 指出，这些参与测试的 GPT-3 模型（Text-davinci-002 (175B) 或其他 002 模型或 instruct GPT）可能已经用「let's think step by step. .....」进行过微调。

对此，来自谷歌的论文作者 Shane Gu 表示，instruct GPT 部分确实帮助很大，但我们也能在原始 GPT 上看到很大的提升。

参考链接：

[1] https://zhuanlan.zhihu.com/p/399295895?utm_source=wechat_session&utm_medium=social&utm_oi=56560353017856&utm_campaign=shareopn