[发明专利]一种在深度语言模型中融入额外知识信息的方法在审
| 申请号： | 202010410674.4 | 申请日： | 2020-05-15 |
| 公开（公告）号： | CN111666374A | 公开（公告）日： | 2020-09-15 |
| 发明（设计）人： | 杨燕;郑淇;陈成才;贺樑 | 申请（专利权）人： | 华东师范大学;上海智臻智能网络科技股份有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F16/332;G06F16/35;G06F40/211;G06F40/295;G06F40/30 |
| 代理公司： | 上海蓝迪专利商标事务所(普通合伙) 31215 | 代理人： | 徐筱梅;张翔 |
| 地址： | 200241 *** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种在深度语言模型中融入额外知识信息的方法，其特点是采用将知识信息融入到深度语言模型中进行预训练的方法，通过大规模自然语言语料上进行实体标注，并对自然语言文本进行实体级别的扰动构造负样本用以强化和提升知识库问答系统中关系匹配模块的性能，模型的训练和知识融入具体包括：构建词表、识别实体信息、创建训练所需的负样本和预训练深度语言模型步骤。本发明与现有技术相比具有将结构化知识信息引入深度语言模型的参数中，使得模型具备针对自然语言输入文本进行包含事实性结构化信息的语义理解，在对应任务上获得性能提升，方法简便，效率高。 | ||
| 搜索关键词： | 一种 深度 语言 模型 融入 额外 知识 信息 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华东师范大学;上海智臻智能网络科技股份有限公司，未经华东师范大学;上海智臻智能网络科技股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010410674.4/，转载请声明来源钻瓜专利网。
- 上一篇：一种树叶状独立光伏供电系统
- 下一篇：诃子提取物在制备马拉色菌抑制剂中的应用
