[发明专利]文本语义相似度计算方法、装置及用户终端有效
申请号: | 201710109428.3 | 申请日: | 2017-02-27 |
公开(公告)号: | CN108509410B | 公开(公告)日: | 2022-08-05 |
发明(设计)人: | 孟令勋;王嘉勋 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289 |
代理公司: | 北京博雅睿泉专利代理事务所(特殊普通合伙) 11442 | 代理人: | 唐丽 |
地址: | 311121 浙江省杭州市余杭*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 语义 相似 计算方法 装置 用户 终端 | ||
1.一种文本语义相似度计算方法,其特征在于,所述方法包括:
根据第一文本中每个字符对应的第一字符向量建立第一字符向量矩阵,根据第二文本中每个字符对应的第二字符向量建立第二字符向量矩阵;
利用人工神经网络算法,优化第一字符向量矩阵中的第一字符向量以及第二字符向量矩阵中的第二字符向量,优化过程中,所述第一字符向量矩阵以及所述第二字符向量矩阵之间参数共享,利用人工神经网络算法的反向传播特性,自动学习字符向量的语义描述,调整第一字符向量、第二字符向量以及其他参数,以使所述第一字符向量矩阵中的第一字符向量以及所述第二字符向量矩阵中的第二字符向量描述字符本身的语义;
根据优化后的第一字符向量以及优化后的第二字符向量,计算第一文本以及第二文本之间的语义相似度。
2.根据权利要求1所述的方法,其特征在于,所述根据第一文本中每个字符对应的第一字符向量建立第一字符向量矩阵,根据第二文本中每个字符对应的第二字符向量建立第二字符向量矩阵包括:
对所述第一文本以及所述第二文本进行分词,获得所述第一文本对应的多个第一字符以及所述第二文本对应的多个第二字符;
从预设字符向量列表中查找所述多个第一字符中每个第一字符对应的第一字符向量,从预设字符向量列表中查找所述多个第二字符中每个第二字符对应的第二字符向量;
根据获得的第一字符向量建立第一字符向量矩阵,根据获得的第二字符向量建立第二字符向量矩阵。
3.根据权利要求1所述的方法,其特征在于,所述利用人工神经网络算法,优化第一字符向量矩阵中的第一字符向量以及第二字符向量矩阵中的第二字符向量包括:
分别提取所述第一字符向量矩阵以及所述第二字符向量矩阵的特征矩阵,所述第一字符向量矩阵的特征矩阵以及所述第二字符向量矩阵的特征矩阵提取过程中的特征矩阵参数共享;
对所述第一字符向量矩阵的特征矩阵以及所述第二字符向量矩阵的特征矩阵进行全连接;
将所述第一文本与所述第二文本之间的预定特征值以及所述全连接的输出值进行二值分类;
迭代优化第一字符向量、第二字符向量、特征矩阵参数以及全连接的参数,直到达到预定迭代结束条件;
所述根据优化后的第一字符向量以及优化后的第二字符向量,计算第一文本以及第二文本之间的语义相似度包括:
以优化后的相似度参数、优化后的第一字符向量、优化后的第二字符向量、优化后的特征矩阵参数以及全连接的参数确定的二值分类输出值作为第一文本以及第二文本之间的语义相似度。
4.根据权利要求3所述的方法,其特征在于,所述分别提取所述第一字符向量矩阵以及所述第二字符向量矩阵的特征矩阵包括:
分别对所述第一字符向量矩阵以及所述第二字符向量矩阵进行卷积,获得所述第一字符向量矩阵的卷积特征矩阵以及所述第二字符向量矩阵的卷积特征矩阵;
分别对所述第一字符向量矩阵的卷积特征矩阵以及所述第二字符向量矩阵的卷积特征矩阵进行池化,获得所述第一字符向量矩阵的特征矩阵以及所述第二字符向量矩阵的特征矩阵。
5.根据权利要求3所述的方法,其特征在于,所述第一文本与所述第二文本之间的预定特征值包括两个文本中每个字符的tf-idf权重、第一文本中的字符重复率以及所述第二文本中的字符重复率中的至少一个。
6.一种文本语义相似度计算装置,其特征在于,所述装置包括:
字符向量建立模块,用于根据第一文本中每个字符对应的第一字符向量建立第一字符向量矩阵,根据第二文本中每个字符对应的第二字符向量建立第二字符向量矩阵;
优化模块,用于利用人工神经网络算法,优化第一字符向量矩阵中的第一字符向量以及第二字符向量矩阵中的第二字符向量,优化过程中,所述第一字符向量矩阵以及所述第二字符向量矩阵之间参数共享,利用人工神经网络算法的反向传播特性,自动学习字符向量的语义描述,调整第一字符向量、第二字符向量以及其他参数,以使所述第一字符向量矩阵中的第一字符向量以及所述第二字符向量矩阵中的第二字符向量描述字符本身的语义;
相似度计算模块,用于根据优化后的第一字符向量以及优化后的第二字符向量,计算第一文本以及第二文本之间的语义相似度。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710109428.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种自动生成语义相近句子样本的方法
- 下一篇:语义分析方法和装置