机器之心报道

机器之心编辑部

扩散模型的时代结束了。

在 AI 画图的领域，人们一直关注的是扩散模型，人们一直在尝试不断改进，推出了 Stable Diffusion、Midjourney、DALL-E 等技术，并在其基础上构建应用。不过最近，OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。

与高调推出 ChatGPT 、GPT-4 不同，这次 OpenAI 在上个月偷偷上传了一篇论文《 Consistency Models 》，也不能说是偷偷，只是这次没有媒体大张旗鼓的报道，就显得这项研究有些低调。论文内容主要是关于图像生成领域的。

作者阵容也非常强大，有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。宋飏将于 2024 年 1 月加入加州理工学院电子系（Electrical Engineering）和计算数学科学系（Computing and Mathematical Sciences）担任助理教授。此外还包括 OpenAI 联合创始人、首席科学家 Ilya Sutskever。

前面我们已经提到，OpenAI 的这项研究主要是图像生成方面的，大家或多或少的都听过这项技术，例如最近热门的 Midjourney 和 Stable Diffusion，它们大都采用扩散模型，由于其生成的图片效果惊艳，很多人都将其视为最好的工具。但扩散模型依赖于迭代生成过程，这导致此类方法采样速度缓慢，进而限制了它们在实时应用中的潜力。

OpenAI 的这项研究就是为了克服这个限制，提出了 Consistency Models，这是一类新的生成模型，无需对抗训练即可快速获得高质量样本。与此同时，OpenAI 还发布了 Consistency Models 实现以及权重。

更有网友测试了生成速度，3.5 秒生成了 64 张分辨率 256×256 的图片，平均一秒生成 18 张。

接下来我们看看 Consistency Model 零样本图像编辑能力：

图 6a 展示了 Consistency Model 可以在测试时对灰度卧室图像进行着色，即使它从未接受过着色任务的训练，可以看出，Consistency Model 的着色效果非常自然，很逼真；图 6b 展示了 Consistency Model 可以从低分辨率输入生成高分辨率图像，Consistency Model 将 32x32 分辨率图像转成 256x256 高分辨率图像，和真值图像（最右边）看起来没什么区别。图 6c 证明了 Consistency Model 可以根据人类要求生成图像（生成了有床和柜子的卧室）。

Consistency Model 图像修复功能：左边是经过掩码的图像，中间是 Consistency Model 修复的图像，最右边是参考图像：

在训练方面，研究团队为 Consistency Models 提供了两种基于自洽性的方法。第一种方法依赖于使用数值 ODE 求解器和预训练扩散模型来生成 PF ODE 轨迹上的相邻点对。通过最小化这些点对的模型输出之间的差异，该研究有效地将扩散模型蒸馏为 Consistency Models，从而允许通过 one network 评估生成高质量样本。

第二种方法则是完全消除了对预训练扩散模型的依赖，可独立训练 Consistency Models。这种方法将 Consistency Models 定位为一类独立的生成模型。

值得注意的是，这两种训练方法都不需要对抗训练，并且都允许 Consistency Models 灵活采用神经网络架构。

实验及结果

实验数据集包括 CIFAR-10 、ImageNet 64x 64 、LSUN Bedroom 256 x 256 、 LSUN Cat 256 x 256。首先该研究在 CIFAR-10 上进行了一系列实验。结果图 3 所示。

了解更多内容，请参考原论文。