> 自媒体 > AI人工智能 > 嘴上哔哔几句,就能训练出比GPT-3还厉害的小模型?
嘴上哔哔几句,就能训练出比GPT-3还厉害的小模型?
来源:产品A的奇幻漂流
2023-09-10
311
管理

近年来,大型语言模型(LLM)如GPT-3在自然语言处理领域备受关注。它们只需要提供自然语言的任务描述和几个示例,就可以通过提示完成许多自然语言处理任务。

但是,LLM也存在许多问题,如需要大量计算资源,只能通过API访问,不容易部署等。

针对这一问题,CMU的研究人员提出了一个叫做Prompt2Model的框架,可以只通过自然语言提示就训练出一个专用的小模型,并易于部署。

通过提示词,生成一个精确的小型模型

该框架包含数据集检索模块、数据集生成模块和模型检索模块。给定一个提示,它可以检索相关的已标注数据集,使用LLM生成合成的数据集,并挑选一个合适的预训练语言模型进行微调。

实验证明,在问答和时间表达式规范化两个任务上,其生成的小模型分别比GPT-3提高了20%和25%的性能,但是模型大小只有GPT-3的千分之一到万分之一。

Prompt2Model框架结合了提示编程的简易性和专用模型的高效部署性。它可以快速构建小而强的NLP系统,缩短从原型设计到实际部署的鸿沟。

该体系结构旨在实现核心机器学习开发过程的自动化,使我们能够从一个提示词中训练一个小而准确的模型

该框架模块化设计,各组件可自定义实现,提供一个端到端的提示驱动型模型训练平台。它有望进一步推动自然语言处理领域在模型蒸馏、数据集生成、合成评估等方面的进步。

总之,Prompt2Model框架让我们离自动构建NLP系统又近了一步。只需要提供简单的自然语言提示,它就可以自动搜集数据、选择模型并训练出一个高质量的专用模型。

Github项目

GitHub - neulab/prompt2model: prompt2model - Generate Deployable Models from Natural Language Instructions

References

Viswanathan, V., Zhao, C., Bertsch, A., Wu, T., & Neubig, G. (2023). Prompt2Model: Generating Deployable Models from Natural Language Instructions.

#GPT##大型语言模型LLM##Prompt的重要性##prompt##机器学习#

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
我是歌王(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索