> 自媒体 > AI人工智能 > 硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型
硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型
来源:硬核老王
2023-05-20
201
管理
Facebook 开源挑战 GPT-3 的语言模型

OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一,使用了 1750 亿个参数,但它至今没有开源,只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta 开源了能挑战 GPT-3 的语言模型开放式预训练变换模型 OPT-175B,使用了能比拟 GPT-3 的 1750 亿个参数。作者们在论文中说,“考虑到计算成本,如果没有大量资金,这些模型很难复制。对于少数通过 API 可调用的模型(暗指 GPT-3),如果不能获得完整的模型权重,就难以进行研究。……因此,我们推出了 OPT(这是一个只有解码器的预训练变换模型)……”

消息来源:ieee

老王点评:在这件事上,Meta 真的很棒,只有开源才能真正推动 AI 的发展。

RTX 30 全系显卡挖矿限制遭破解

去年,为了遏制游戏显卡被用于挖矿,英伟达限制了新上市 RTX 30 系列显卡的算力水平,这批显卡被称之为 LHR(低哈希率)显卡。本周,NiceHash 宣布,继去年 8 月成功解锁 LHR 显卡 70% 的原始算力后,现在几乎 RTX 30 全系 LHR 显卡已经被 100% 破解。只有 RTX 3050 和RTX 3080 12GB,所需要的新算法还没完工。

消息来源:nicehash

老王点评:终究,显卡还是被用于挖矿了。

谷歌正在为 Linux 研究加密休眠支持

谷歌工程师正在研究安全地“在一些新的场景中启用休眠”。除了采取预防措施,确保恶意的用户空间不能利用休眠数据,谷歌安全团队也在强制要求加密休眠。谷歌现在正在研究基于内核的加密,支持使用 TPM 支持的密钥来加密休眠镜像,用 PCR 策略来密封加密密钥,以及其他工作来确保加密的休眠镜像可以被信任。

消息来源:phoronix

老王点评:这个倒是一直以来的一个薄弱点,虽然对于服务器意义不大,但对于桌面设备有意义。

0
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
轻随风之舞(普通会员)
点击领取今天的签到奖励!
签到排行
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索