[发明专利]语言模型的训练方法和预测方法有效
| 申请号： | 201910460896.4 | 申请日： | 2019-05-30 |
| 公开（公告）号： | CN110196894B | 公开（公告）日： | 2021-06-08 |
| 发明（设计）人： | 罗希意;邓卓彬;赖佳伟;付志宏;何径舟 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06N3/08 |
| 代理公司： | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人： | 宋合成 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提出一种语言模型训练方法和预测方法，其中，训练方法包括：获取训练文本序列，并随机生成训练文本序列中需要通过语言模型建模分析的字或词的目标位置，对目标位置处的字或词进行掩码替换，生成掩码替换后的文本序列，生成被替换的字或词的受限词表，根据掩码替换后的文本序列和受限词表，生成在受限词表空间上的概率分布，根据被替换的字或词以及在受限词表空间上的概率分布计算交叉熵函数，并进行迭代优化。该方法在模型的解码端引入受限词表，模型训练时充分利用原词信息，使得语言模型对易混淆词更容易区分，提升了语言模型在错误检测或错误纠正等任务上的效果。 | ||
| 搜索关键词： | 语言 模型 训练 方法 预测 | ||
【主权项】：
1.一种语言模型的训练方法，其特征在于，包括：获取训练文本序列，并随机生成所述训练文本序列中需要通过语言模型建模分析的字或词的目标位置；对所述目标位置处的字或词进行掩码替换，生成掩码替换后的文本序列；生成被替换的字或词的受限词表；根据所述掩码替换后的文本序列和所述受限词表，生成在所述受限词表空间上的概率分布；以及根据所述被替换的字或词以及在所述受限词表空间上的概率分布计算交叉熵函数，并进行迭代优化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910460896.4/，转载请声明来源钻瓜专利网。
