> 自媒体 > AI人工智能 > OpenAI 第四弹:马斯克强调的 TruthGPT 是什么?下个“AK”;微软弃婴,二十年前的 ChatGPT
OpenAI 第四弹:马斯克强调的 TruthGPT 是什么?下个“AK”;微软弃婴,二十年前的 ChatGPT
来源:人人都是产品经理
2023-08-30
197
管理

有消息称,前 OpenAI 联合创始人&主席 Elon Musk,正在接洽曾在 DeepMind & OpenAI 任职的工程师 Igor Baushkin,打算组建一个新的AI实验室及ChatGPT的替代品,未来会如何呢?本文作者围绕这件事进行了分析,并分享了20年前的“ChatGPT”的故事,一起来看一下吧。

那么这个「Based AI」想做什么呢?其实又回到了 OpenAI 成立之初,Elon Musk 所畅想的愿景与使命,毕竟 OpenAI 现在的状态可不是原先 Musk 所想的那样,OpenAI 成立之初非营利的性质是为了防止 Google 作恶,现在 OpenAI 变成了另一个硅谷巨头微软变相控制的企业,且以盈利导向,好家伙,非但原先的假想敌没干掉,还一下变成俩,这怎么搞?

大概意思是 OpenAI 的技术目标是构建安全的 AI,确保 AI 的利益尽可能的防范和均匀分布,而 Musk 对于目前 AI 的态度就好像对待 Twitter 一样,作为 Twitter 的深度用户,看到平台上的内容和信息集中而不均匀,或者叫中心化,这对于每一个内容消费者来说并不是好事。

2020 年 11 月,Bauschkin 离职,加入已经成立满 5 年的 OpenAI 担任 Technical Staff,期间参与了 GPT-3、DALL-E 和 CLIP 项目的开发。

同期,Bauschkin 还是另一篇 DeepMind 在 2021 年发表的论文《Scaling Language Models: Methods, Analysis & Insights from Training Gopher》合著者。

这篇论文讲述了基于 Google Transformer 的各种语言模型在规模与性能上的比对,从数千万参数的模型再到 2800 亿参数量量的 Gopher 模型,研究人员发现规模收益主要体现在阅读理解和内容审查方面,而在逻辑和数学推理的收益较小,比如 Gopher 模型在以下几个垂直知识领域甚至超过了当时的 GPT-3 和人类专家。

Gopher 模型和 GPT-3 模型两者都基于 Google 的 Transformer 神经网络架构开发,也都是预训练模型,在参数规模上前者达 2800 亿,后者为 1750 亿,但由于在训练数据集以及训练方式的差异,两者的表现也不同,就好比 28 岁的 A 和 17 岁的 B 一起考试,你很难说 A 会因为年龄大更聪明,又或者 B 更年轻而跑更快。Gopher 模型也能实现 ChatGPT 那样的聊天,DeepMind 在文章里还公开过一些 QA 案例。

SmarterChild 早期产品成功的原因主要归纳为 4 点:

产品形态:SmarterChild 本质是一款聊天机器人,通过文本与用户交互,20多年前 128kbps 的网速下载 1 秒的音频需要 16000 字节,而文本仅 90 字节,在有限的网速下文本作为媒介具备明显传输优势;兼容性:SmarterChild 不是客户端产品,不需要下载和安装,用户通过当时的 IM 平台即可添加 SmarterChild 到好友列表里,如同今天活在 Discord 社区里的 Midjourney;社交属性:按照当时的网络环境,上网聊天的是一群感时髦的孩子,他们通常在放学后拨号上网,并在睡前迎来又一波流量高峰,对 Ta 们来说通过 SmarterChild 获取信息不重要,社交、好奇与打发时间才是更重要的;个性:对,你没看错,这是 SmarterChild 的第一位投资人 —— Hoffer 的朋友,当时在 Pixar 担任 2D 动画师的 Doug Frankel 投资了 ActiveBuddy 约 400 万美元,Frankel 当时表示 SmarterChild 有点点“坏”,它会 PUA 用户,这不是因为当时的技术有多先进,更谈不上 AI,而是聊天机器人背后的编辑们是一群充满创意和恶搞的群体,用户喜欢的这种“坏”,就好比《狂飙》里的强哥。

Hoffer 曾表示“当拥有一个具有个性的角色时,可能面临的不是技术问题,而是编辑问题,作为角色的塑造方,你必须愿意激怒 50% 的用户,这也是大公司做不好和不敢做的原因”。PS:今天 Google 复现了这个 Bug~

Kay 这么形容当时互联网泡沫前后发生的变化 —— 互联网泡沫破灭前,人们在说“哦,你有一个商业模式并不重要,吸引眼球才是最重要的” ,而当互联网泡沫破灭后,人们在说“你必须赚钱。”

2000 年的互联网泡沫破灭后,当时广告行业处于下行周期,投资机构也变得谨慎,而 SmarterChild 业务发展和商业化也正需要更多的工程师、脚本编辑团队和业务开发人员。

ActiveBuddy 终于获得了一家名为 Wit Soundview 的风投机构支持,但这家机构缺乏远见,以激进的方式推动管理层将公司商业化,最终导致了核心团队的流失,包括那些有趣的编辑们,公司的业务也面临转型,聚焦 B 端服务,开始为 Comcast 和 Cox 等大型传播集团提供定制服务,2003 年公司更名为 Conversagent,2006 年再次更名为 Colloquis,最终在 2006 年 10 月被微软以 4600 万美元收购。

微软收购 Colloquis 的本意是将这家公司的对话技术推向其现有的客户,Colloquis 的相关产品包括后来的 Windows Live Service Agents,可以在 Windows Live Messenger 上提供服务机器人,以及 Colloquis Answer Suite。

同样,微软这边也是以商业化为目的,2007 年微软发布了圣诞老人机器人,由于这款产品向未成年发布了攻击性的暗示,最终在 2009 年被微软喊“Cut”。

至于为什么?原因是那时聊天机器人的底层能力远比不上今时今日大模型所表现出的“类人”能力,更需要编辑们生产的“数据”和内容审核,但微软恰恰不是一家内容公司,激进的商业化反过来加剧了管理的混乱,早期成员流失。

回顾 SmarterChild 这款产品的一生,将它比作 20 多年前手工版的“ChatGPT”并不为过,两者有许多相似的地方,相同的地方不列举了,而不同的地方,例如技术与商业环境今非昔比、今天的微软也比 2007 年那会儿支棱多了、大语言模型的学习效率与 GPT 模型肉眼可见的演化,以及 OpenAI LP 与微软之间复杂的条款约定,而并非 100%所有。

最后,与其推测 OpenAI 版的“SmarterChild”未来会如何?倒不如顺着 Musk 的逆向思维,看看 ChatGPT 是否已经避开了当年 SmarterChild 的一些覆辙?另外还具备了哪些新的竞争优势?

Reference:

https://fortune.com/2023/02/28/elon-musk-rival-openai-chatgpt-woke-ai/

https://www.nature.com/articles/s41586-019-1724-z.epdf?author_access_token=lZH3nqPYtWJXfDA10W0CNNRgN0jAjWel9jnR3ZoTv0PSZcPzJFGNAZhOlk4deBCKzKm70KfinloafEF1bCCXL6IIHHgKaDkaTkBcTEv7aT-wqDoG1VeO9-wO3GEoAMF9bAOt7mJ0RWQnRVMbyfgH9A==

https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval

https://zhuanlan.zhihu.com/p/458200357

https://www.babushk.in/index.html

https://en.wikipedia.org/wiki/SmarterChild

https://www.vice.com/en/article/jpgpey/a-history-of-smarterchild

https://peterlevitan.com/my-story/

https://www.avclub.com/the-oral-history-of-radiohead-s-googlyminotaur-a-chatb-1798248780

https://en.wikipedia.org/wiki/GooglyMinotaur

https://en.wikipedia.org/wiki/Colloquis

https://chatbotsmagazine.com/radiohead-s-googlyminotaur-ee91cd600a4a

作者:TimJ;来源公众号:江天Tim

本文由 @江天Tim 原创发布于人人都是产品经理,未经许可,禁止转载

题图来自 Unsplash,基于 CC0 协议

该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
兰花草(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索