[发明专利]基于图的文本表示方法有效

专利信息
申请号: 201710599697.2 申请日: 2017-07-21
公开(公告)号: CN107357918B 公开(公告)日: 2022-01-25
发明(设计)人: 周法国 申请(专利权)人: 中国矿业大学(北京)
主分类号: G06F16/35 分类号: G06F16/35;G06F16/36;G06F40/284
代理公司: 北京方圆嘉禾知识产权代理有限公司 11385 代理人: 董芙蓉
地址: 100083 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 文本 表示 方法
【权利要求书】:

1.基于图的文本表示方法,其特征在于:其方法步骤为:

步骤一:输入文本文档D;

步骤二:输出文本图G(V,E,W1,W2);

步骤三:确定每个文档对应图模型的最多顶点个数n;

步骤四:对文档进行分词、词性标注、预处理,并对其进行词频统计;

步骤五:选取最能代表该文档的特征词条,其个数不超过n,并记录所有特征词在文档中的先后顺序;

步骤六:对文档D,由其所有特征词条作为图模型的顶点,相应的特征词条的出现频率构成顶点的权重,从而构成顶点的权重集合W1

步骤七:如果两个特征词在文档的某一段落中先后出现,则它们之间有一条有向边,边的方向由先出现的特征词指向后出现的特征词;

步骤八:根据公式(1)确定特征词条的关联矩阵M,U;

步骤九:根据公式对矩阵U进行归一化处理,确定归一化后的关联矩阵W;

步骤八所述公式(1)是由定义1的两个特征词条之间边的语义测度定义,语义测度定义:wAB=1/(num(B)-num(A)) (1)

其中,num(B)表示特征词条B在文档中的顺序号,num(A)表示特征词条A在文档中的顺序号;

其中定义1是一个文档D对应的就是词语义空间下的图G,G是一个四元组G(V,E,W1,W2)由带有权的顶点集V(G)和带有权的边集E(G)构成的带权有向图,顶点集V(G)由出现在文档D中所有特征词条构成;边上的权W2表示与其关联的两个特征词条间约束程度的大小,所有的边所构成的集合称之为边集E(G),边上的权W2构成的集合称为边的权重集W2

2.根据权利要求1所述的基于图的文本表示方法,其特征在于:所述定义1的文档表达形式为:

T=[t1,t2,…,tn] (2)

其中,T:特征词条集合;ti为特征词条,i=1,2,…,n;M:特征词条的关联矩阵;aij:特征词条ti和tj的关联强度(1≤i≤j≤n),

如果某个词A在同一段落中同时多次约束另一个词B,则仅计他们之间的最近约束关系,根据定义1可知,最大约束值为1,得到矩阵U:

一般地,需要对矩阵U进行归一化处理,

其中i,j,k,l=1,2,…,n则得到归一化的矩阵W:

3.根据权利要求1所述的基于图的文本表示方法,其特征在于:两个文档D1和D2语义越接近,则它们的对应的文档图也越相似,相反,两个文档图越相似,则它们在语义上是越接近的,两个文档D1和D2语义越接近,体现在图的特征上,两个图就有更多的相同的顶点和边,并且边上的权值也越接近。

4.根据权利要求1所述的基于图的文本表示方法,其特征在于:假设两个文档D1和D2对应的带权有向图分别为G1和G2,G1和G2的最大公共子图为C,则文档D1和D2的相似性定义如下:

其中,|V(C)|代表带权有向图G1和G2的最大公共子图C的顶点个数,n=Max{|V(G1)|,V(G2)},常数因子β取0~1之间的小数,

文档相似度,反映两篇文档之间的相似程度,通常为一个0~1之间的数值,0表示不相似,1表示完全相似,数值越大表示两篇文档越相似,

两个文档语义越接近,体现在图的特征上,两个图就有更多相同的顶点和边,并且边上的权值也越接近,式(7)中,是对两个图的顶点组成的度量,两个文档语义越接近,对应的图越相似,取值越大,越接近1;而是对两个图的边的组成的度量,两个文档语义越接近,对应的图越相似,取值越大,越接近1,线性组合代表了对两个文档对应的图的相似性的度量,并且S(D1,D2)取值介于0~1之间,相应地,两个文档D1和D2的距离Dis(D1,D2)=1-S(D1,D2)。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国矿业大学(北京),未经中国矿业大学(北京)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201710599697.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top