[发明专利]语料库构建方法、装置、电子设备及介质在审
申请号: | 201910704739.3 | 申请日: | 2019-07-31 |
公开(公告)号: | CN110532547A | 公开(公告)日: | 2019-12-03 |
发明(设计)人: | 陈鑫;肖龙源;蔡振华;李稀敏;刘晓葳;王静 | 申请(专利权)人: | 厦门快商通科技股份有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 361000 福建省厦门市*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请提供一种语料库构建方法及装置、一种电子设备以及一种计算机可读介质。其中,所述方法包括:接收到目标语料后,对所述目标语料进行分词处理,得到多个词单元,按照预先建立的同义词典,获取每个词单元对应的同义词单元组,所述同义词单元组包括与该词单元对应的至少一个同义词单元,基于所述词单元对应的同义词单元对至少一个词单元进行替换,得到所述目标语料的同义语料,将所述同义语料与所述目标语料关联后,构建语料库。由于是基于预先构建的同义词典进行同义词替换生成同义语料,使得扩充后的数据集更有利于模型训练,因此,相较于现有技术,能够在一定程度上实现有效文本生成,扩充数据集。 | ||
搜索关键词: | 词单元 同义词 语料 同义词典 单元组 数据集 构建 计算机可读介质 同义词替换 语料库构建 电子设备 分词处理 模型训练 有效文本 预先建立 语料库 替换 关联 申请 | ||
【主权项】:
1.一种语料库构建方法,其特征在于,包括:/n接收到目标语料后,对所述目标语料进行分词处理,得到多个词单元;/n按照预先建立的同义词典,获取每个词单元对应的同义词单元组,所述同义词单元组包括与该词单元对应的至少一个同义词单元;/n基于所述词单元对应的同义词单元对至少一个词单元进行替换,得到所述目标语料的同义语料;/n将所述同义语料与所述目标语料关联后,构建语料库。/n
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门快商通科技股份有限公司,未经厦门快商通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910704739.3/,转载请声明来源钻瓜专利网。