机器之心原创

作者：张倩

中文预训练语言模型，参数量也上了千亿，还是为业界定制的。

如果你是一位 NLP 从业者，你可能发现，最近的中文 NLP 社区有点热闹：「中文版 T5」、「中文版 GPT-3」以及各种大规模中文版预训练模型陆续问世，似乎要带领中文 NLP 社区跑步进入「练大模型」时代。

在此背景下，中文语言理解测评基准「CLUE」也经历了它的前辈「GLUE」所经历过的盛况：一个模型的冠军宝座还没坐热，就被一个更新的模型挤了下去。

这次刷榜的，是一个叫「盘古」的 NLP 模型。

在最近的 CLUE 榜单上，「盘古」在总榜、阅读理解排行榜和分类任务排行榜上都位列第一，总榜得分比第二名高出一个百分点。

复杂商用场景实测不同模型少样本学习达到的 F1 结果（100%表示跟 full label 结果相同）

基于对话内容的销售线索评分场景中，使用不同模型的实测销售线索转化率对比

如何融合行业知识？

行业知识来源于行业数据。盘古团队使用了大量行业语音和文本数据。这些数据来自销售、客服等企业与客户之间的沟通场景，涵盖金融、保险、教育、地产、本地生活、电商、汽车等诸多行业，构成了庞大的行业知识库。借助这些数据进行微调，模型的行业特定意图和知识理解能力大幅提高。

此外，与 GPT-3 直接使用端到端生成的方式不同，由于盘古模型同时具备生成能力和少样本理解能力，开发者可以根据业务需求灵活搭建 pipeline，包括与行业知识库进行对接，实现行业知识与通用知识的融合，最大程度上满足个性化的业务需求。

可以说，与 GPT-3 等模型相比，「盘古」是专门为产业落地所打造的，其终极目标就是「打通 NLP 技术与产业的最后一公里」。

如何赋能产业？

模型有了，之后要怎么用呢？在这方面，循环智能 NLP Moonshot 团队给出了正在做的两个方向。

第一个方向是深入具体场景。

在过去的几年中，企业通过部署 AI 客服、AI 外呼系统，取代了一小部分人员的简单工作。但很多情况下，客户并没有感觉自己的服务体验得到了改善，尤其是在涉及高附加值行业的产品销售与服务时。

以银行、保险、房产和教育等国计民生领域为例。在这些领域，企业意识到只有通过人与人的沟通过程，才能与客户建立更紧密的联结。如果 NLP 技术可以在提升员工专业度和产能方面发挥作用，就可以帮助企业为其客户带来更好的体验，创造更大的价值。

这就是循环智能主攻的方向——增强「人」的智能。

他们的思路可以概括为：借助先进的 NLP 技术，从企业与客户沟通时产生的对话数据中挖掘优秀员工的优秀实践，把这些优秀实践变为企业资产，然后通过更有针对性的培训和「实时辅助」系统，将优秀实践传递给每一名普通员工，提升他们的表现。

通俗点说，实时辅助系统有点像企业给销售代表、客服等工作人员配备的一个「外挂」，这个「外挂」可以实时提示工作人员如何更好地解答客户的疑问，如何更专业地向客户介绍产品和服务……

在实际应用中，循环智能为企业提供对比测试方案以衡量产品价值。他们发现，通过让员工变得更专业，实时辅助系统往往能够带来员工的产能提升和公司的营收再增长。这个千亿级别的市场，有望借助「盘古」模型的能力，更快地实现规模化应用。

第二个方向是打造通用 API。

大模型是一种基础设施类型的存在。在杨植麟看来，「盘古」有望成为一个通用 API，开启一种新的商业模式。在这种模式中，开发者可以基于通用 API，结合业务场景，灵活高效地定制行业应用，解锁更多此前想象不到的场景。

华为云人工智能首席科学家、IEEE Fellow 田奇也表示：「盘古 NLP 大模型可以实现一个 AI 大模型在众多场景通用、泛化和规模化复制，减少对数据标注的依赖，让 AI 开发由作坊式转变为工业化开发的新模式。」

「基于模型的 AI 时代」即将到来？

清华大学计算机科学与技术系教授唐杰在前段时间接受机器之心采访时曾表示，「超大规模预训练模型的出现，很可能改变信息产业格局。继基于数据的互联网时代、基于算力的云计算时代之后，接下来可能将进入基于模型的 AI 时代。」杨植麟也同意这一观点。在他看来，这个新时代将有两大特征。

一是 AI 生产效率的变革。随着标注数据需求大幅降低，AI 生产效率将迎来两到三个数量级的提升，摆脱原来依靠大量样本的落后生产方式，进入规模化量产时代。

二是 AI 场景的指数级增加。技术的突破往往带来新市场，而目前 AI 商业化的现状就是需求很多但技术不一定满足。AI 预训练技术突破之后，马上可以解锁很多新场景，从数字化程度比较高的行业走向传统行业，从大型企业走向中小企业。

杨植麟认为，预训练的难题有三个层次：（1）如何突破现有范式的瓶颈，拓展智能边界，实现更强的认知能力；（2）基于现有范式，如何进行技术提升，打通技术和产业的最后一公里；（3）如何找到合适的商用场景，创造预训练模型的商业价值。

如果「基于模型的 AI 时代」真的到来，学界和业界可能将迎来更加清晰的分工：「盘古模型做的是 2 和 3，也是产业界重要的工作。学界应该做的是 1 和 2。学界和业界应该合作，通过学术资源、算力资源、商业资源的交融，把预训练技术往前推进。」