[发明专利]文档与标签词语义关联方法及其装置有效
申请号: | 201610051437.7 | 申请日: | 2016-01-26 |
公开(公告)号: | CN105718585B | 公开(公告)日: | 2019-02-22 |
发明(设计)人: | 陈发君;刘忠;黄金才;修保新;朱承;程光权;陈超;冯旸赫 | 申请(专利权)人: | 中国人民解放军国防科学技术大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 北京中济纬天专利代理有限公司 11429 | 代理人: | 陈立新 |
地址: | 410073 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文档 标签 词语 关联 方法 及其 装置 | ||
1.一种文档与标签词语义关联方法,其特征在于,包括以下步骤:
步骤S100:获取所述文档,作为文档语料,所述文档属于标签词相关领域且具有时效性;
步骤S200:构造句法模式并对所述文档语料进行句法模式匹配,合并符合所述句法模式的结果为候选提及相关词集合C;
步骤S300:用经过训练的Word2vec模型对所述候选提及相关词C集合进行过滤,得到提及相关词集合V;
步骤S400:根据所述提及相关词和所述标签词,计算多篇所述文档与所述标签词的相关度,并构建所述标签词与所述文档的相关度数据库;
所述句法模式包括含多个所述标签词s的S集合、含多个模式标识词的W集合和N集合,其中所述W集合为模式标识词集合,所述N集合为所述文档语料的句子中处于所述模式标识词后的所有名词的集合;
所述模式标识词包括同义模式标识词和子概念标识词。
2.根据权利要求1所述的文档与标签词语义关联方法,其特征在于,所述步骤S200中包括以下步骤:
步骤S210:对所述文档语料中的句子进行逐句对比;
步骤S220:判断所述句子中是否包含所述标签词s和所述模式标识词w;
步骤S230:如果包含所述标签词s和所述模式标识词w,则将所述句子中处于所述模式标识词w后的所有名词归入所述N集合中,合并多个所述N集合,得到所述候选提及相关词集合C。
3.根据权利要求1所述的文档与标签词语义关联方法,其特征在于,所述步骤S300中的所述过滤包括以下步骤:
步骤S310:以所述文档语料训练所述Word2vec模型后,采用所述训练后的所述Word2vec模型计算所述候选提及相关词集合C中每个词与所述标签词的Word2vec相关度;
步骤S320:选取所述C集合中与所述标签词的Word2vec相关度大于阈值的词,构造包含多个提及相关词v的集合V。
4.根据权利要求3所述的文档与标签词语义关联方法,其特征在于,所述阈值为0.75。
5.根据权利要求3所述的文档与标签词语义关联方法,其特征在于,所述步骤S400还包括以下步骤:
步骤S410:对待处理文档进行分词,得到所述待处理文档中包含的所有词;
步骤S420:判断组成所述待处理文档的所有词中是否包含所述标签词s和/或所述提及相关词v;
步骤S430:如果包含,则判定所述待处理文档为与所述标签词集合相关的数据库文档,计算所述数据库文档中所述标签词或所述提及相关词的词频,作为所述数据库文档的提及相关度;
步骤S440:在所述数据库文档上标记所述提及相关度,并构建所述数据库文档的关联数据库。
6.根据权利要求5所述的文档与标签词语义关联方法,其特征在于,通过Web Service对终端用户提供所述关联数据库的查询接口。
7.根据权利要求1~6中任一项所述的文档与标签词语义关联方法,其特征在于,所述Word2vec模型以所述文档作为语料进行训练。
8.一种用于如权利要求1~7中任一项所述方法的文档与标签词语义关联装置,其特征在于,包括:
文档获取模块,用于获取所述文档,作为文档语料,所述文档属于标签词相关领域且具有时效性;
句法匹配模块:用于构造句法模式并对所述文档语料进行句法模式匹配,合并符合所述句法模式的结果为候选提及相关词集合C;
Word2vec模型过滤模块:用于用经过训练的Word2vec模型对所述候选提及相关词C集合进行过滤,得到提及相关词集合V;
数据库构建模块:用于根据所述提及相关词和所述标签词,计算多篇所述文档与所述标签词的相关度,并构建所述标签词与所述文档的相关度数据库;
所述句法模式包括含多个所述标签词s的S集合、含多个所述模式标识词的W集合和N集合,其中所述W集合为模式标识词集合,所述N集合为所述文档语料的句子中处于所述模式标识词后的所有名词的集合;
所述模式标识词包括同义模式标识词和子概念标识词。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国人民解放军国防科学技术大学,未经中国人民解放军国防科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610051437.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:助推式鲜木薯原料浮选清杂装置
- 下一篇:一种灰粉流量阀