编辑：Aeneas 好困

就在刚刚，根据The Information的最新爆料，OpenAI即将发布一款全新的开源大语言模型。

羊驼家族开源大爆发

十天前，谷歌的一份内部文件泄漏。在这篇名为《我们没有护城河，OpenAI也没有》的文章里，作者沉痛控诉了开源对于谷歌和OpenAI的沉重打击。

这场「史诗级泄漏」，直接让开源LLM领域变了天。短短几周内，各种ChatGPT平替就以迅雷不及掩耳之势呈爆炸式增长。

Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……简直堪称是「羊驼家族」大爆炸。

其实，早在羊驼之前，开源模型就曾破灭过OpenAI的野心。

当时，刚刚发布的Dall-E 2凭借着惊艳的文生图效果，在网上引起了不小的轰动。

然而，当OpenAI还在试图兜售API时，一款开源替代突然横空出世——Stable Diffusion。

随着Stable Diffusion的迅速崛起，Dall-E 2也很快就被开发者们抛在了脑后。

开源大模型，要颠覆硅谷大厂？

UC Berkeley的计算机教授Ion Stoica正是使用Meta的研究开发Vicuna的学者之一。

为了提高Vicuna的能力，Stoica和同事们正在努力增加模型中的计算数量，这将有助于处理涉及推理的任务，比如写代码。

开发Vicuna的是一个伯克利的团队，每年的预算为数百万美元，其中大约50万美元来自包括微软、谷歌和亚马逊在内的上市公司。

Meta CEO小扎对此筹谋已久。

4月，在他与分析师的一次电话会议中，他曾这样谈到公司的策略——

如果行业能够在我们使用的基础工具上达成标准化，那么我们就能从其他人的改进中受益，这样会更好。

谷歌倒是没有完全采用专有的方式来处理AI软件。

早在2020年，谷歌就发布了一个开源语言模型T5，让开发者可以构建能够执行翻译和摘要任务的软件。随后，谷歌又发布了一个更先进的Flan-T5。

比如，现在许多开源平替是基于Meta的LLaMA构建的。

而其他模型使用的是名为Pile的大型公共数据集，由开源非营利组织EleutherAI整理。

EleutherAI之所以存在，是因为OpenAI的开放性意味着一群开发者能够逆向了解GPT-3是如何制作的，然后在空闲时间里创建自己的模型。

这种限制反应了OpenAI心态上的变化。联合创始人兼首席科学家Ilya Sutskever表示，OpenAI过去的开放性是一个错误。

OpenAI的政策研究员Sandhini Agarwal说：「以前，如果某样东西是开源的，也许一小群修理工会关心。但现在，整个环境已经改变。开源真的可以加速发展，导致竞争。」

时间倒回三年前，如果OpenAI在公布GPT-3的细节时，就秉持着同样的原则，那就不会有EleutherAI的出现，也就不会有蓬勃的开源创新。

今天，EleutherAI在开源生态系统中发挥着举足轻重的作用。Pile被用来训练多个开源项目，包括Stability AI的StableLM。

但随着GPT-4、5、6被锁死，开源社区可能会再次被落在几家大公司后面。

他们会困在上一代模型中，如果想取得进步，只能闭门造车。

参考资料：

https://www.technologyreview.com/2023/05/12/1072950/open-source-ai-google-openai-eleuther-meta/

https://www.theinformation.com/articles/open-source-ai-is-gaining-on-google-and-chatgpt