[发明专利]关键词提取方法及装置在审
申请号: | 201710101013.1 | 申请日: | 2017-02-23 |
公开(公告)号: | CN108304365A | 公开(公告)日: | 2018-07-20 |
发明(设计)人: | 王煦祥;尹庆宇 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 何平;邓云鹏 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 关键词提取 词序列 概率 循环神经网络 预设 | ||
1.一种关键词提取方法,其特征在于,包括:
获取待处理文本的各待判断词;
确定各所述待判断词分别对应的前文词,所述前文词为所述待处理文本中出现在所述待判断词的上文中的词;
根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序,确定各所述待判断词的词序列;
分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中,得到各所述待判断词是所述待处理文本的关键词的概率;
根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值,确定所述待处理文本的关键词。
2.根据权利要求1所述的关键词提取方法,其特征在于,所述获取待处理文本的待判断词的步骤,包括:
对所述待处理文本进行分词处理,获得所述待处理文本中的词;
识别所述待处理文本中的停用词,将所述待处理文本中除所述停用词之外的词确定为待判断词。
3.根据权利要求1所述的关键词提取方法,其特征在于,所述根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序,确定各所述待判断词的词序列的步骤,包括:
获取各所述待判断词分别对应的前文词的词向量和各所述待判断词的词向量;
根据各所述待判断词分别对应的前文词及各所述待判断词在所述待处理文本中出现的顺序,采用各所述待判断词分别对应的前文词的词向量和所述各待判断词的词向量确定各所述待判断词的词序列,所述词序列为词向量序列。
4.根据权利要求1所述的关键词提取方法,其特征在于,在分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中之前,还包括步骤:
获取训练样本,对循环神经网络模型进行训练获得所述经过训练的循环神经网络模型;所述训练样本包括元素对,所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
5.根据权利要求1所述的关键词提取方法,其特征在于,所述循环神经网络模型为LSTM模型。
6.一种关键词提取装置,其特征在于,包括:
待判词获取模块,用于获取待处理文本的各待判断词;
前文词确定模块,用于确定各所述待判断词分别对应的前文词,所述前文词为所述待处理文本中出现在所述待判断词的上文中的词;
词序列确定模块,用于根据各所述待判断词、各所述待判断词分别对应的前文词在所述待处理文本中出现的顺序确定词序列;
概率确定模块,用于分别将各所述待判断词的所述词序列输入到经过训练的循环神经网络模型中,得到各所述待判断词是所述待处理文本的关键词的概率;
关键词确定模块,用于根据各所述待判断词是所述待处理文本的关键词的概率及预设阈值,确定所述待处理文本的关键词。
7.根据权利要求6所述的关键词提取装置,其特征在于,所述待判词获取模块,包括:
分词处理单元,用于对所述待处理文本进行分词处理,获得所述待处理文本中的词;
识别确定单元,用于识别所述待处理文本中的停用词,将所述待处理文本中除所述停用词之外的词确定为待判断词。
8.根据权利要求6所述的关键词提取装置,其特征在于,还包括:词向量获取模块;
所述词向量获取模块,用于获取各所述待判断词分别对应的前文词的词向量和各所述待判断词的词向量;
所述词序列确定模块,用于根据各所述待判断词分别对应的前文词及各所述待判断词在所述待处理文本中出现的顺序、采用各所述待判断词分别对应的前文词的词向量和所述各待判断词的词向量确定各所述待判断词的词序列,所述词序列为词向量序列。
9.根据权利要求6所述的关键词提取装置,其特征在于,还包括:
模型训练模块,用于获取训练样本,对循环神经网络模型进行训练获得所述经过训练的循环神经网络模型;所述训练样本包括元素对,所述元素对包括训练文本对应的训练词及所述训练词为所述训练文本的关键词的概率。
10.根据权利要求6所述的关键词提取装置,其特征在于,所述循环神经网络模型为LSTM模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710101013.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:关键词提取方法和装置
- 下一篇:一种上位词检测方法及设备