[发明专利]文本表示方法、装置、设备和存储介质有效
申请号: | 201910504977.X | 申请日: | 2019-06-11 |
公开(公告)号: | CN110196981B | 公开(公告)日: | 2023-07-25 |
发明(设计)人: | 牛国成;何伯磊;肖欣延 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F18/213;G06N3/045;G06N3/0442;G06N3/0464;G06N3/047;G06N3/048;G06F16/35 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 表示 方法 装置 设备 存储 介质 | ||
1.一种文本表示方法,其特征在于,包括:
获取目标文本对应的多个词向量;
从多个所述词向量中,获取所述目标文本的全局特征;
根据所述全局特征生成多个全局信息,每个所述全局信息与至少一个所述词向量对应;其中,每个所述全局信息与窗口中高关注度的词向量相对应,所述窗口包含多个词向量;
根据多个所述词向量以及多个所述全局信息,获取所述目标文本的多个局部特征;
根据多个所述局部特征生成所述目标文本的表示向量。
2.根据权利要求1所述的方法,其特征在于,从多个所述词向量中,获取所述目标文本的全局特征,包括:
基于第一编码器获取每个所述词向量对应的第一特征表示;
拼接各所述第一特征表示,得到所述全局特征。
3.根据权利要求1所述的方法,其特征在于,从多个所述词向量中,获取所述目标文本的全局特征,包括:
基于第一编码器获取每个窗口对应的第二特征表示,所述窗口包括多个所述词向量;
拼接各所述第二特征表示,得到所述全局特征。
4.根据权利要求3所述的方法,其特征在于,根据所述全局特征生成多个全局信息,包括:
对于每个所述窗口,从所述全局特征中获取所述窗口对应的关联特征,并根据所述关联特征获取所述窗口对应的全局信息。
5.根据权利要求4所述的方法,其特征在于,所述关联特征包括注意力特征,从所述全局特征中获取所述窗口对应的关联特征,并根据所述关联特征获取所述窗口对应的全局信息,包括:
获取所述窗口对应的第三特征表示;
根据所述窗口中的多个所述词向量的平均值,获取所述第三特征表示的注意力值;
根据所述第三特征表示以及所述注意力值,确定所述窗口的所述注意力特征;
根据所述注意力特征和所述全局特征,得到所述窗口对应的候选信息;
根据所述词向量的维度,压缩所述候选信息,得到所述窗口对应的全局信息。
6.根据权利要求1至3任一项所述的方法,其特征在于,根据所述全局特征生成多个全局信息,包括:
最大池化所述全局特征,以得到至少一个所述词向量的候选信息;
根据所述词向量的维度,压缩所述候选信息,得到至少一个所述词向量对应的全局信息。
7.根据权利要求1所述的方法,其特征在于,根据多个所述词向量以及多个所述全局信息,获取所述目标文本的多个局部特征,包括以下方式中的任一种:
对于每个词向量,基于第二编码器从所述词向量以及所述词向量对应的全局信息中,获取所述词向量对应的局部特征;
对于每个窗口,基于所述第二编码器从所述窗口的多个所述词向量以及所述窗口对应的全局信息中,获取所述窗口对应的局部特征。
8.一种文本表示装置,其特征在于,包括:
词向量获取模块,用于获取目标文本对应的多个词向量;
全局特征获取模块,用于从多个所述词向量中,获取所述目标文本的全局特征;
全局信息生成模块,用于根据所述全局特征生成多个全局信息,每个所述全局信息与至少一个所述词向量对应;其中,每个所述全局信息与窗口中高关注度的词向量相对应,所述窗口包含多个词向量;
局部特征获取模块,用于根据多个所述词向量以及多个所述全局信息,获取所述目标文本的多个局部特征;
表示向量生成模块,用于根据多个所述局部特征生成所述目标文本的表示向量。
9.根据权利要求8所述的装置,其特征在于,所述全局特征获取模块包括:
第二特征表示获取子模块,用于基于第一编码器获取每个窗口对应的第二特征表示,所述窗口包括多个所述词向量;
拼接子模块,用于拼接各所述第二特征表示,得到所述全局特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910504977.X/1.html,转载请声明来源钻瓜专利网。