编辑：LRS

【新智元导读】缺数据不是问题，直接用GPT-4生成的指令就够了，标注员恐怕要失业了！

「指令」（Instruction）是ChatGPT模型取得突破性进展的关键因素，可以让语言模型的输出更符合「人类的偏好」。

但指令的标注工作需要耗费大量的人力，即便有了开源的语言模型，资金不足的学术机构、小公司也很难训练出自己ChatGPT.

最近微软的研究人员利用之前提出的Self-Instruct技术，首次尝试使用GPT-4模型来自动生成语言模型所需的微调指令数据。

频率最高的25对动词-名词

文中提出的两个模型分别在GPT-4和GPT-3生成的数据上进行了微调，可以看到LLaMA-GPT4以51.2%的占比在帮助性上要大大优于在GPT-3上微调的Alpaca（19.74%），而在诚实性和 无害性标准下，则基本处于平局状态，GPT-3要略胜一筹。

在和原版GPT-4对比时，可以发现二者在三个标准上也是相当一致的，即GPT-4指令调优后的LLaMA表现与原始的GPT-4类似。

GPT-4自动评估

受 Vicuna 的启发，研究人员也选择用GPT-4来评估不同聊天机器人模型对80个未见过的问题所生成回答的质量，从 LLaMA-GPT-4(7B)和 GPT-4模型中收集回复，并从以前的研究中获得其他模型的答案，然后要求GPT-4对两个模型之间的回复质量进行评分，评分范围从1到10，并将结果与其他强竞争模型(ChatGPT 和 GPT-4)进行比较。

评估结果显示，反馈数据和奖励模型对提高 LLaMA 的性能是有效的；用GPT-4对LLaMA进行指令调优，往往比用text-davinci-003调优（即Alpaca）和不调优（即LLaMA）的性能更高；7B LLaMA GPT4的性能超过了13B Alpaca和LLaMA，但和GPT-4等大型商业聊天机器人相比，仍有差距。

从平均ROUGE-L得分来看，Alpaca优于LLaMA-GPT 4和GPT-4，可以注意到，LLaMA-GPT4和GPT4在ground truth回复长度增加时逐渐表现得更好，最终在长度超过4时表现出更高的性能，意味着当场景更具创造性时，可以更好地遵循指令。

在不同的子集中，LLaMA-GPT4跟GPT-4的行为相差无几；当序列长度较短时，LLaMA-GPT4和GPT-4都能生成包含简单的基本事实答案的回复，但会增加额外的词语，使回复更像聊天，可能会导致ROUGE-L得分降低。

参考资料：

https://arxiv.org/pdf/2304.03277.pdf