羿阁 衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

你说，咱今天可以不加班不？

不，到点走不了，今天这班你必须得加。

如此冷冰冰的回答，来自一个可以免费调戏千亿参数大模型的网站：

或者来点儿数学题：

为了使用起来更简便，网站上只给了三个生成参数：

响应时长、温度参数和Top-p。

在初始设置值下，无论输入句的长与短，响应时长都需要20来秒的时间。

我们试了一下，把这一参数极限往左或往右拉，发现响应时长大概是维持在10-90秒这个区间里。

如果用户现在就想尝试更多的超参数，在网站上体验不同的生成技术，可以通过使用团队做出的一个系统Alpa（用来训练和服务大模型），自己增加相关服务的设置。

他们目前在开发一个RESTFUL API 来公开完整的参数集，后续可以关注一下。

因为采用的是随机抽样，所以针对同一个问题，每一次生成的结果都会有所不同。

比如，前后两次想让网站帮忙解决“中午吃啥”这个千古难题，它一会儿推荐你吃三明治，一会儿推荐你吃沙拉。

（总之是非常健康了）

在隐私保密这一块，网站称不会存储输入的内容，只会记录输入词长度这一类东西。

团队还说了，对于没多少AI相关背景，还想了解接触一下AI生态系统的人来说，网站挺容易上手。

为了验证友好性，我们找来一个AI小白玩儿了一下这个网站。

打开网站，这位旁友啥参数也没动，单刀直入，在输入框里明目张胆地输入了

让我们邀请读者在阅读这篇文章后，关注我们的公号吧。

21.7秒后，网站和我们一起面带热情的微笑，暗（ming）示（shi）你记得关注量子位（手动狗头）。

具体来说，Alpa的突破之处有以下几点：

而且Alpa由Jax、XLA和Ray等开源、高性能和生产就绪的库提供支持，和ML生态系统集成得比较紧密。

网站的建立，就是团队在Alpa的基础上，根据Meta AI已开源的OPT-175B，做了一个类似OpenAI GPT-3的服务。

运行成本更低，并行化技术更先进，所以可以做到免费供所有人使用。

当然，网站使用受Alpa开源许可的约束。同时因为是针对OPT-175B的，也受到相应的约束，也就是说，这个网站玩玩可以，真要应用，只能以研究为目的。

值得一提的是，有关这篇系统的论文《Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning》已经被收录进计算机系统领域顶会OSDI 2022。

并且，该团队还在国际机器学习大会ICML 2022上，做了关于整个大模型技术栈的tutorial。

张昊最近致力于大规模分布式DL，构建端到端的可组合和自动化系统；还研究大规模分布式ML，涉及性能和可用性。

如果你感兴趣的话，可以戳下面的链接，自己上手体验一下～

网站demo：https://opt.alpa.ai

参考资料：[1]https://arxiv.org/pdf/2201.12023.pdf[2]https://arxiv.org/pdf/2205.01068.pdf[3]https://github.com/alpa-projects/alpa

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态