编辑：好困 Aeneas 桃子

【新智元导读】做聊天机器人，OpenAI不是第一家，但绝对是最出风头的那个。谷歌、Meta、DeepMind、OpenAI的聊天机器人大PK，谁最牛？

前几天，Meta首席人工智能科学家Yann LeCun的一段对于ChatGPT的点评迅速传遍圈内外，引发了大波讨论。

在Zoom的媒体和高管小型聚会上，LeCun给出了一段令人惊讶的评价：「就底层技术而言，ChatGPT并不是多么了不得的创新。」

「虽然在公众眼中，它是革命性的，但是我们知道，它就是一个组合得很好的产品，仅此而已。」

但其实，他的言论不无道理。

像ChatGPT这种数据驱动的人工智能系统，许多公司和研究型实验室有。LeCun表示，OpenAI在这个领域并没有多么独树一帜。

「除了谷歌和Meta之外，还有六家初创公司，基本上都拥有非常相似的技术。」LeCun 补充道。

在Huggingface的一篇博客中，几位作者调查了关于RLHF、SFT、IFT、CoT（它们都是ChatGPT的关键词）这些主题的重要论文，对它们进行了分类和总结。

他们制成了一个表，根据公开访问、训练数据、模型架构和评估方向等细节，对BlenderBot、LaMDA、Sparrow和InstructGPT这些AI聊天机器人进行了比较。

注意：因为ChatGPT没有记录，所以他们使用的是InstructGPT的细节，InstructGPT是一个来自OpenAI的指令微调模型，可以被认为是ChatGPT的基础。

在RLHF中，一组模型响应根据人类反馈进行排序（例如，选择一个更受欢迎的文字简介）。

接下来，研究人员在这些注释过的响应上训练一个偏好模型，为RL优化器返回一个标量奖励。

最后，通过强化学习训练聊天机器人来模拟这个偏好模型。

论文指出，采用CoT微调的模型，在涉及常识、算术和符号推理的任务中表现得更好。

此外，CoT微调在敏感话题方面也非常有效（有时比RLHF做得更好），尤其是可以避免模型摆烂——「对不起，我无法回答」。

SFT和IFT的联系非常紧密。IFT可以看作是SFT的一个子集。在最近的文献中，SFT阶段经常用于安全主题，而不是用于在IFT之后完成的特定指令主题。

在将来，它们的分类和描述应该会有更清晰的用例。

另外，谷歌的LaMDA也是在一个有安全注释的对话数据集上进行微调的，该数据集有基于一系列规则的安全注释。

这些规则通常由研究人员预先定义和开发，包含了一系列广泛的主题，包括伤害、歧视、错误信息等。

AI聊天机器人的下一步

关于AI聊天机器人，目前仍有许多开放性问题有待探索，比如：

1. RL在从人类反馈中学习方面有多重要？我们能在IFT或SFT中通过更高质量的数据训练获得RLHF的性能吗？

2. Sparrow中的SFT RLHF，与LaMDA中仅仅使用SFT，两者的安全性如何比较？

3. 鉴于我们已经有了IFT、SFT、CoT和RLHF，那么还有多少预训练是必要的？有哪些权衡因素？最好的基础模型是哪个（包括公开的和非公开的）？

4. 现在这些模型都是精心设计的，其中研究人员会专门搜索故障模式，并根据揭露的问题影响未来的训练（包括提示和方法）。我们如何系统地记录这些方法的效果并进行复现？

总结一下

1. 与训练数据相比，只需拿出非常小的一部分用于指令微调（几百个数量级即可）。

2. 监督微调利用人类注释，可以让模型的输出更加安全和有用。

3. CoT微调提高了模型在逐步思考任务上的表现，并使模型不会总是逃避敏感问题。

参考资料：

https://huggingface.co/blog/dialog-agents