[发明专利]样本构建方法、装置、电子设备及可读存储介质在审
| 申请号: | 202310085121.X | 申请日: | 2023-02-08 |
| 公开(公告)号: | CN116089569A | 公开(公告)日: | 2023-05-09 |
| 发明(设计)人: | 王承之 | 申请(专利权)人: | 维沃移动通信有限公司 |
| 主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06N20/00;G06F40/58 |
| 代理公司: | 北京远志博慧知识产权代理事务所(特殊普通合伙) 11680 | 代理人: | 李翠雅 |
| 地址: | 523863 *** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 样本 构建 方法 装置 电子设备 可读 存储 介质 | ||
1.一种样本构建方法,其特征在于,所述方法包括:
获取平行语料训练样本,所述平行语料训练样本包含原始文本并携带所述原始文本中的每个关键词所对应的规范类型标签;
将所述原始文本中的第一关键词替换为所述第一关键词对应的至少一个第一不符合规范词,以生成至少一个扩展文本;
将所述第一关键词所对应的第一规范类型标签替换为所述第一不符合规范词所对应的第二规范类型标签,获得替换标签后的所述平行语料训练样本;
基于替换标签后的所述平行语料训练样本与所述至少一个扩展文本,构建目标训练样本。
2.根据权利要求1所述的方法,其特征在于,所述平行语料训练样本为平行语料训练样本集中的一个平行语料训练样本;
所述将所述原始文本中的第一关键词替换为所述第一关键词对应的至少一个第一不符合规范词,以生成至少一个扩展文本,包括:
基于所述原始文本中的每个关键词在所述平行语料训练样本集中的词频,从所述原始文本中确定至少一个第一关键词,将所述原始文本中的所述至少一个第一关键词中的每个第一关键词替换为各自对应的第一不符合规范词,以生成第一扩展文本;
其中,所述第一扩展文本为所述至少一个扩展文本中的任一扩展文本。
3.根据权利要求1所述的方法,其特征在于,所述平行语料训练样本为平行语料训练样本集中的一个平行语料训练样本,所述扩展文本的数量为N,N为正整数;
所述将所述原始文本中的第一关键词替换为所述第一关键词对应的至少一个第一不符合规范词,以生成至少一个扩展文本之后,所述方法还包括:
在N个扩展文本中的第二扩展文本中包含未收录在所述平行语料训练样本集中的未登录词的情况下,对所述未登录词的特征信息进行初始化;
其中,所述初始化的过程包括以下至少之一:
按照所述未登录词对应的第一关键词,和所述N个扩展文本中的每个扩展文本中所述未登录词对应的第一关键词所对应的每个不符合规范词在所述平行语料训练样本集中的词频,对所述未登录词的特征信息进行加权平均;
使用所述未登录词对应的同源词的特征信息,对所述未登录词的特征信息进行加权平均;
将所述未登录词的特征信息置为0;
将所述未登录词的特征信息随机初始化。
4.根据权利要求1所述的方法,其特征在于,所述平行语料训练样本为平行语料训练样本集中的一个平行语料训练样本;
所述基于替换标签后的所述平行语料训练样本与所述至少一个扩展文本,构建目标训练样本之后,所述方法还包括:
将第一翻译文本中的扩展文本中的每个扩展文本中还原为规范词,以生成M个第二翻译文本,一个不符合规范词还原为至少一个规范词;
将所述第一翻译文本对应的第一特征信息和所述M个第二翻译文本中的X个第二翻译文本对应的第二特征信息输入第一翻译模型进行文本翻译,以得到目标译文,所述第一特征信息包括所述第一翻译文本的文本特征信息和所述第一翻译文本中的不符合规范词所对应的规范类型标签的特征信息,所述第二特征信息包括所述第二翻译文本的文本特征信息和所述第二翻译文本中的不符合规范词所对应的规范类型标签的特征信息;
其中,所述第一翻译模型是基于目标训练样本集训练得到的,所述目标训练样本集包括多个所述目标训练样本,一个所述目标训练样本对应所述平行语料训练样本集中的一个平行语料训练样本,M、X为正整数,且X小于或等于M。
5.根据权利要求4所述的方法,其特征在于,所述将第一翻译文本中的至少一个不符合规范词还原为规范词,以生成M个第二翻译文本之前,所述方法还包括:
将所述第一翻译文本输入第一分词模型后,对所述第一翻译文本进行分词,得到K个分词,并对所述K个分词中的每个分词进行不符合规范词识别,得到所述每个分词对应的识别结果,一个分词对应的识别结果用于表征所述一个分词是否属于不符合规范词,在所述一个分词属于不符合规范词的情况下,所述一个分词对应的识别结果包括所述一个分词所对应的规范类型;
其中,所述第一分词模型是基于目标训练样本集训练得到的,K为大于1的整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于维沃移动通信有限公司,未经维沃移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310085121.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种回转式真空干燥机
- 下一篇:数据处理方法、装置、存储介质及电子装置





