[发明专利]文本检测方法及装置在审
| 申请号: | 202011053447.7 | 申请日: | 2020-09-29 |
| 公开(公告)号: | CN112257436A | 公开(公告)日: | 2021-01-22 |
| 发明(设计)人: | 罗博明 | 申请(专利权)人: | 华为技术有限公司 |
| 主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/247;G06F40/242;G06F40/30;G06F40/51;G06F40/58;G06K9/62 |
| 代理公司: | 北京中博世达专利商标代理有限公司 11274 | 代理人: | 申健 |
| 地址: | 518129 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 文本 检测 方法 装置 | ||
1.一种文本检测方法,其特征在于,包括:
根据原文文本对应的原文词向量集合中的元素与译文文本对应的译文词向量集合的中的元素之间的匹配结果和第一匹配阈值,生成词对齐结果,其中,所述词对齐结果包括词向量对集合,所述词向量对集合包括一一对应的所述原文词向量集合中的元素、所述译文词向量集合中的元素组成的词向量对;
确定所述词向量对集合中属于所述译文词向量集合的每个元素对应的译文词语,以及所述译文词语对应的第一原文词语;
根据所述译文词语对应的所述原文文本中的第二原文词语与所述第一原文词语关联的近义词集合的归属关系,确定第一文本检测结果。
2.根据权利要求1所述的文本检测方法,其特征在于,所述根据原文文本对应的原文词向量集合中的元素与译文文本对应的译文词向量集合的中的元素之间的匹配结果和第一匹配阈值,生成词对齐结果,包括:
获取所述原文词向量集合中的每个元素与所述译文词向量集合中的每个元素之间的第一相似度;
根据所述第一相似度高于所述第一匹配阈值的所述原文词向量集合中的元素、所述译文词向量集合的中的元素,构建待对齐词向量对集合;
根据词向量对齐算法,从所述待对齐词向量对集合中提取第二相似度最大的待对齐词向量子集作为所述词向量对集合,所述第二相似度为待对齐词向量子集中的词向量对的所述第一相似度的加权和。
3.根据权利要求2所述的文本检测方法,其特征在于,所述词向量对齐算法为匈牙利算法或线性规划算法。
4.根据权利要求1-3中任一项所述的文本检测方法,其特征在于,在所述根据所述译文词语对应的所述原文文本中的第二原文词语与所述第一原文词语关联的近义词集合的归属关系,确定第一文本检测结果之前,所述方法还包括:
根据多语言无监督和有监督嵌入MUSE算法,将所述译文词语对应的第一原文词语处理为第一词向量;
获取所述第一词向量与预存储的目标语言词典集合中的第二词向量之间的第三相似度;
将所述第三相似度高于第二匹配阈值的第二词向量对应的词语集合,确定为与所述译文词语对应的第一原文词语关联的近义词集合。
5.根据权利要求1所述的文本检测方法,其特征在于,所述词对齐结果还包括原文词向量集合中未包含于所述词向量对集合的词向量子集,所述方法还包括:
根据所述词向量子集中的元素对应的第三原文词语与反义副词集合之间的归属关系以及所述第一文本检测结果,确定第二文本检测结果。
6.根据权利要求5所述的文本检测方法,其特征在于,所述第二文本检测结果包括第三文本检测结果或第四文本检测结果;其中,
所述第三文本检测结果,表征词向量子集中的元素对应的第三原文词语归属于反义副词集合,且第一文本检测结果未出现语义反转;
所述第四文本检测结果,表征词向量子集中的元素对应的第三原文词语归属于预设的反义副词集合,且第一文本检测结果出现语义反转,以及表征词向量子集中的元素对应的第三原文词语未归属于预设的反义副词集合。
7.根据权利要求1所述的文本检测方法,其特征在于,所述第一文本检测结果包括:第五文本检测结果或第六文本检测结果;其中,
所述第五文本检测结果,表征所述原文文本中的第二原文词语属于对应的第一原文词语关联的近义词集合;
所述第六文本检测结果,表征所述原文文本中的第二原文词语不属于对应的第一原文词语关联的近义词集合。
8.根据权利要求1所述的文本检测方法,其特征在于,所述原文文本对应的原文词向量集合中的元素与所述译文文本对应的译文词向量集合的中的元素之间的匹配方式为如下之一:余弦相似度匹配、皮尔森相关系数匹配、或欧里几德距离匹配。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011053447.7/1.html,转载请声明来源钻瓜专利网。





