机器之心编译

作者：Jay Alammar

编辑：张倩、蛋酱

构建越来越大的模型并不是提高性能的唯一方法。

从 BERT 到 GPT-2 再到 GPT-3，大模型的规模是一路看涨，表现也越来越惊艳。增大模型规模已经被证明是一条可行的改进路径，而且 DeepMind 前段时间的一些研究表明：这条路还没有走到头，继续增大模型依然有着可观的收益。

但与此同时，我们也知道，增大模型可能并不是提升性能的唯一路径，前段时间的几个研究也证明了这一点。其中比较有代表性的研究要数 DeepMind 的 RETRO Transformer 和 OpenAI 的 WebGPT。这两项研究表明，如果我们用一种搜索 / 查询信息的方式来增强模型，小一点的生成语言模型也能达到之前大模型才能达到的性能。

在大模型一统天下的今天，这类研究显得非常难能可贵。

在这篇文章中，擅长机器学习可视化的知名博客作者 Jay Alammar 详细分析了 DeepMind 的 RETRO（Retrieval-Enhanced TRansfOrmer）模型。该模型与 GPT-3 性能相当，但参数量仅为 GPT-3 的 4%。

但有时候，如果你对某种语言比较熟悉，你也可以直接猜出空白部分要填什么，例如：

这种区别非常重要，因为大型语言模型将它们所知道的一切都编码到模型参数中。虽然这对于语言信息是有意义的，但是对于事实信息和世界知识信息是无效的。加入检索方法之后，语言模型可以缩小很多。在文本生成过程中，神经数据库可以帮助模型检索它需要的事实信息。

在探索模型架构之前，让我们先深入挖掘一下检索数据库。

RETRO 的检索数据库

此处的数据库是一个键值存储（key-value store）数据库。其中 key 是标准的 BERT 句子嵌入，value 是由两部分组成的文本：

RETRO 的数据库包含基于 MassiveText 数据集的 2 万亿个多语言 token。neighbor chunk 和 completion chunk 的长度最多为 64 个 token。

下图展示了检索到的信息可以浏览完成提示所需的节点步骤。

原文链接：http://jalammar.github.io/illustrated-retrieval-transformer/