> 自媒体 > AI人工智能 > ChatGPT 们难以复制的原因,除了耗显卡,还有水电费太贵?
ChatGPT 们难以复制的原因,除了耗显卡,还有水电费太贵?
来源:爱范儿
2023-04-29
331
管理

以 ChatGPT 为代表的生成式 AI,看似超前,但却以一种极其「古典」的交互形式出现在大众面前。

它没有花里胡哨的图标,也没有深入人心的 UI 设计,而是用最简单的对话框来「震撼」世界。

▲ 由 TPU v4 组成的 Google 机器学习中心 图片来自:Google

对大语言模型(LLMs)进行训练,参数越多,性能越好。2018 年的 LLM 大约有 1 亿个参数,而到了现在,大约就要对 2000 亿个参数进行训练。

运行他们需要算力更强的 GPU,英伟达也在 2020 年推出了相对应的 A100 高性能 GPU,并且也可以打包八张 A100 形成 DGX A100 服务器。

八张 A100 组成的 DGX A100 服务器大概售价 19.9 万美元,最高功率为 6.5kW。

按照一万张来算的话,光在硬件上微软就要花去 2.5 亿美元,运行一个月就要用掉 585 万度电,电费就要得交

而按照国家统计局公开的数据,我国居民月度用电量大约是 69.3 度。ChatGPT 运行一月,大概与我们 8 万人用电相当。

除了显卡本身的价值,以及维持他们工作所需的电能外,给他们创造一个凉爽的环境,配置一套蒸发冷却装置。

原理也比较简单,就是利用蒸发水来散热,但运行起来需要消耗大量的清水,并且在循环的过程里,大概会有 1%~2% 的水会作为细水雾被风吹走。

虽然站在宏观角度,水仍然维持着动态平衡,但在冷却塔的小环境中,却是一种无形的消耗。

同时,他们也发现,蒸发冷却塔在工作时,平均每消耗一度电,就会让一加仑水(3.78L)消失。

其实不止是微软,Google 在 2019 年为其三个数据中心使用了超过 23 亿加仑的清水。

一种是,花得起耗得起资金,能够训练先进复杂的大预言模型的大型科技公司。另一种就是无法承担成本的的非盈利组织和小型公司。

在许多关于 AIGC 到底消耗了多少电力、资源的许多研究报告中,大多是以 GPT-3,或者用「预估」等字眼。

就像对训练 GPT-3 用了多少水的研究里,由于 OpenAI 并没有披露 GPT-3 训练所需的时间长度,因此研究人员只能从微软所公布的 Azure 计算中心冷却塔的数据来预估。

但就如同相关的研究人员一般,目前 AIGC(如 GPT-4)几乎没有公开的信息,更像是一个黑盒。

诚然对于大公司而言,AIGC 可能就是下一个新时代的开端,塑造科技壁垒,无可厚非。

但对于资源的消耗,无论是对于立法机构,还是对于大众,都该保持一些透明度,

这也是 AI 在提供便利的同时,为何研究人员不断挖掘和道明相应的代价。

发展 AI,其实也是人类的一次登月

对于 AI 耗电、排碳,以及最新的费水等研究,并非是在谴责、或者说反对发展 AIGC 用资源去换取技术的改进。

这些数据,其实是提供了 AIGC 行业的另外一个角度,在一条条符合人味儿回答的背后,到底我们或者说大型科技公司为此付出了什么。

也并非是要呼吁 Google、微软立刻做碳中和,并为耗费的水资源、电能和间接的一些环境问题买单,让它们变成 Google Green 或者是绿软。

AIGC 的爆发,并不是一簇而就,也不是简单开窍式的技术爆发,它背后涵盖了相当多的产业链,更像「水到渠成」。

大公司云计算中心算力的增强,以及 GPU 对复杂算法的高效计算,以及大语言模型参数的复杂化,再加上 AIGC 企业本身一直在不计成本的投入。

▲ 大型数据计算中心只是 AIGC 行业的一环

而在 GPT-3 出现之前,AI 们的能力还显得比较稚嫩,大众也没意识到 AI 可能会改变世界。

但随着 GPT-4、Midjourey V5 等等涌现,AIGC 也终于成为了硅谷宠儿。

此时此刻,OpenAI、微软、Google 等大企业对资源的消耗,对大算力的使用也有了一个初步的成果。

▲ 《为了全人类》剧照

同样地,当下的 AIGC 节点,有些类似于阿姆斯特朗刚踏上月球的那一刻。

登月动用了当时相当的资金财力资源,但月球上并没有所谓的水和可利用资源(暂时)。

但并不能否认登月没有意义,就如同现在花去大量的资源、财力喂给 AI,发展 AIGC。

只是,AIGC 能发展到如何,谁也说不准,它可能像是《终结者》里的天网,也可能是《星战》里的 CP30,有着无限可能。

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
乖乖(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索