[发明专利]一种触发词扩展方法、装置以及事件提取方法及系统有效
申请号: | 201711157258.2 | 申请日: | 2017-11-20 |
公开(公告)号: | CN107957990B | 公开(公告)日: | 2021-04-02 |
发明(设计)人: | 董超;崔朝辉 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F40/247 | 分类号: | G06F40/247;G06F40/289;G06F40/30;G06F40/211 |
代理公司: | 北京工信联合知识产权代理有限公司 11266 | 代理人: | 郭一斐;叶万东 |
地址: | 110179 辽宁省沈*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 触发 扩展 方法 装置 以及 事件 提取 系统 | ||
1.一种触发词扩展方法,其特征在于,包括:
步骤S110,接收输入的待扩展触发词列表U;以及,采用步骤S120和步骤S130其中至少之一对所述列表U中的每个词进行扩展;
步骤S120,对于待扩展的每个词,获取与其相似度大于相似阈值的相似词;
步骤S130,对于待扩展的每个词,在预先设置好的近义词林中获取其近义词;
步骤S140,将扩展得到的相似词和/或近义词加入扩展触发词列表H,对所述列表H中的每个词,计算其与所述列表U中词的语义相关性,将语义相关性大于相关阈值的词和所述列表U中的词加入保留触发词列表D;其中,所述对所述列表H中的每个词,计算其与所述列表U中词的语义相关性,具体包括:
计算所述列表H中词的左语义向量和右语义向量,计算所述列表U中词的左语义向量和右语义向量;
将所述列表H中词的左语义向量与所述列表U中词的左语义向量求余弦值,将所述列表H中词的右语义向量与所述列表U中词的右语义向量求余弦值,将两个余弦值按左右系数加权求和得到两个词之间的语义相关性;
步骤S150,输出所述保留触发词列表D。
2.根据权利要求1所述的一种触发词扩展方法,其特征在于,在所述步骤S120之前,还包括:
通过爬虫抓取网络上的文本语料加入训练语料库;
对抓取到的语料进行自动分词;
对分词的结果进行相关度训练。
3.根据权利要求1所述的一种触发词扩展方法,其特征在于,所述左语义向量和右语义向量的计算方式,包括:
获取所述列表U中的词或所述列表H中的词在语料中的上下文,该词的左邻接词的集合为其左文词袋,右邻接词的集合为其右文词袋;
将左文词袋中的所有词的词向量加权求和,分别以各向量TF-IDF值作为权值,得到左语义向量;将右文词袋中的所有词的词向量加权求和,分别以各向量TF-IDF值作为权值,得到右语义向量。
4.一种事件提取方法,包括以下步骤:
将待分析文本进行句子切分处理;
对每个句子进行分词处理;
对所述每个句子的分词结果根据触发词列表进行标记;所述触发词列表是根据权利要求1-3其中之一的触发词扩展方法得到的;如果一个句子中有至少一个词与触发词列表中的词相同,则将该句子进行标记;将被标记的句子排序输出。
5.一种触发词扩展装置,其特征在于,包括:
接收模块:其用于接收输入的待扩展触发词列表U;
扩展模块:用于对列表U中的每个词进行扩展,包括对待扩展的每个词,获取与其相似度大于相似阈值的相似词,和/或对待扩展的每个词,在预先设置好的近义词林中获取其近义词;
计算模块:用于将扩展得到的相似词和/或近义词加入扩展触发词列表H,对所述列表H中的每个词,计算其与所述列表U中词的语义相关性,将语义相关性大于相关阈值的词和所述列表U中的词加入保留触发词列表D;其中,所述对所述列表H中的每个词,计算其与所述列表U中词的语义相关性,具体包括:
计算所述列表H中词的左语义向量和右语义向量,计算所述列表U中词的左语义向量和右语义向量;
将所述列表H中词的左语义向量与所述列表U中词的左语义向量求余弦值,将所述列表H中词的右语义向量与所述列表U中词的右语义向量求余弦值,将两个余弦值按左右系数加权求和得到两个词之间的语义相关性;
输出模块:用于输出所述保留触发词列表D。
6.根据权利要求5所述的一种触发词扩展装置,其特征在于,还包括训练模块,其用于:
通过爬虫抓取网络上的文本语料加入训练语料库;
对抓取到的语料进行自动分词;
对分词的结果进行相关度训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711157258.2/1.html,转载请声明来源钻瓜专利网。