1、背景篇

1.1 ChatGPT和OpenAI是什么？

ChatGPT是什么？ChatGPT是由美国顶尖AI实验室OpenAI开发的一个人工智能聊天机器人程序，2022年11月上线，上线不到一周就突破100万用户。该程序使用基于GPT-3.5架构的大语言模型并通过强化学习进行训练，OpenAI是什么？OpenAI 是美国的AI实验室，非营利组织，定位是促进和发展友好的人工智能，使人类整体受益。OpenAI成立于2015年底，创始人是伊隆·马斯克以及前YC 总裁Sam Altman。

技术层分析（By 张俊林）：

ChatGPT的最大贡献在于：基本实现了理想LLM（大语言模型）的接口层，让LLM适配人的习惯命令表达方式，而不是反过来让人去适配LLM，绞尽脑汁地想出一个能Work的命令（这就是instruct技术出来之前，prompt技术在做的事情），而这增加了LLM的易用性和用户体验。是InstructGPT/ChatGPT首先意识到这个问题，并给出了很好的解决方案，这也是它最大的技术贡献。相对之前的few shot prompting，它是一种更符合人类表达习惯的人和LLM进行交互的人机接口技术。

GTP/BERT这样的大模型出现后，可能导致一部分中间任务消亡。

典型的中间任务包括：中文分词、词性标注、NER、句法分析、指代消解、语义Parser等，这类任务一般并不解决应用中的实际需求，大多数是作为那些解决实际需求任务的中间阶段或者辅助阶段存在的。

自从Bert／GPT出现之后，其实就没有必要做这些中间任务了，因为通过大量数据的预训练，Bert／GPT已经把这些中间任务作为语言学特征，吸收到了Transformer的参数里，此时我们完全可以端到端地直接解决那些最终任务，而无须对这种中间过程专门建模。

这点从统计机器翻译到神经网络机器翻译也有类似发展过程。

局限和弱点分析：

以下是不同渠道的一些局限分析：

指标缺陷：其奖励模型围绕人类监督而设计，可能导致过度优化，从而影响性能，这种如何确定衡量指标的难题在它身上也少不了。就像机器翻译的Bleu值，一直被吐槽，但找不到更好更方便的评估方式。

无法实时改写模型的信念：当模型表达对某个事物的信念时，即使该信念是错误的，也很难纠正它。这，简直就像一个倔强的老头。

知识非实时更新：模型的内部知识停留在2021年，对2022年之后的新闻没有纳入。这点在体验层面也说到了。

模态单一：目前的ChatGPT擅长NLP和Code任务，作为通向AGI的重要种子选手，将图像、视频、音频等图像与多模态集成进入LLM，乃至AI for Science、机器人控制等更多、差异化更明显的其它领域逐步纳入LLM，是LLM通往AGI的必经之路。而这个方向才刚刚开始，因此具备很高的研究价值。

高成本：超级大模型因为模型规模大，所以训练成本过高，导致很少有机构有能力去做这件事。

结语，一些非结构化的感想

就像以太坊创始人V神所说的，一个译后编辑的时代已经到来。AI预先编程、预先草拟内容，人类来修改。实际上，在翻译领域，这场革命已经开始，笔者在做的一个项目(www.languagex.com)就是这个方向。BTW，用LanguageX可以使用全球16个主流翻译引擎翻译，包括chatGPT，欢迎尝试（下图）。如果我们作为一个共同的社会体可以负责任地进行这项革命（AI革命），其产生的财富足够每个人都能得到他们所需要的东西。——Sam 忘了，"人类的需要"是一个无底洞。不过，这句话的启发是：AI革命将极大提升社会生产力，创造巨额财富。如果一个与人类价值观相符、注重安全的项目领先于我们将近达成通用人工智能，我们承诺将停止竞赛，幷转而协助这个项目——纯粹、立志服务于人的美好发心，才可以产生美好的愿景，才能做到足够开放，值得吸引顶级的头脑去奋斗，值得顶级的资本投入。多元，而不是垄断。虽然多元或赛马消耗社会资源，但永远是最安全的方式，如果微软完全控制了OpenAI，我倒希望还有一个足以牵制和抗衡它的AI机构，比如DeepMind，或者其他。大多数某领域所谓“独有”的问题，大概率只是缺乏领域知识导致的一种外在表象，只要领域知识足够多，这个所谓领域独有的问题，就可以被很好地解决掉，其实并不需要专门针对某个具体领域问题，冥思苦想去提出专用解决方案。也许AGI的真相超乎意料地简单：你只要把这个领域更多的数据交给LLM，让它自己学习更多知识即可。ChatGPT最惊艳的技能几乎都涉及创意领域，比如写作、编程、翻译。现在看来，AI最有可能取代的工作包含了创造性工作。原来，AI眼中的难和我们眼中的难根本不是一个维度。AI也让我们更认识自己，逼着我们去思考一些事物的本质，比如意识是什么？情感是什么？创造是什么？日光之下，并无新事，我们所谓的“创新”，很大程度上，是不是也是一种沿袭（知识学习）和重组（内容生成）？AI也将让我们审视，人类有什么是不可替代的？什么是人类更底层的东西？什么是更宝贵更独特的人类特质？什么是应该外包给AI的？人类应该把时间和生命花费在什么事物上？

（LanguageX的多机翻引擎阵列）附：名词解释

AIGC：AI Generated Content ，人工智能自动生成内容

NLP：Natural Language Processing，自然语言处理

LLM：Large language model，大语言模型

AGI：Artificial general intelligence，通用人工智能

Prompt：提示词

Fine-tuning：模型调优

ML：Machine Learning，机器学习

DL：Deep Learning，深度学习

GPU：Graphics Processing Unit ，深度学习用的显卡

BERT：Bidirectional Encoder Representations from Transformers”，双向编码器表示

RLHF：Reinforcement Learning from Human Feedback，基于人类反馈的强化学习

转载来源：机器翻译观察

转载编辑：刘聪颖