[发明专利]一种常识概念增强的语言模型预训练方法在审
| 申请号： | 202111375338.1 | 申请日： | 2021-11-19 |
| 公开（公告）号： | CN114238649A | 公开（公告）日： | 2022-03-25 |
| 发明（设计）人： | 胡明昊;罗威;罗准辰;谭玉珊;叶宇铭;田昌海;宋宇;毛彬;周纤 | 申请（专利权）人： | 中国人民解放军军事科学院军事科学信息研究中心 |
| 主分类号： | G06F16/36 | 分类号： | G06F16/36;G06F40/211;G06N3/04;G06N3/08 |
| 代理公司： | 北京方安思达知识产权代理有限公司 11472 | 代理人： | 陈琳琳;杨青 |
| 地址： | 100142*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种常识概念增强的语言模型预训练方法，所述方法包括：步骤1)收集语料集，构建基于常识概念的无监督语料集，所述无监督语料集包括若干句子，每个句子包含若干个常识概念及每个常识概念在句子中的位置；步骤2)基于无监督语料集，随机遮盖常识概念后形成训练样本，将训练样本输入预先建立的语言模型进行训练，训练目标为预测被遮盖常识概念，从而得到常识概念增强的预训练语言模型；步骤3)由常识概念增强的预训练语言模型得到语言建模的预测序列。本发明有效地强化了预训练语言模型的常识理解能力，实验证明在常识问答任务上微调常识概念增强的预训练语言模型能使问答准确度明显提升。 | ||
| 搜索关键词： | 一种 常识 概念 增强 语言 模型 训练 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国人民解放军军事科学院军事科学信息研究中心，未经中国人民解放军军事科学院军事科学信息研究中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111375338.1/，转载请声明来源钻瓜专利网。
