[发明专利]基于图的文本表示方法有效
申请号: | 201710599697.2 | 申请日: | 2017-07-21 |
公开(公告)号: | CN107357918B | 公开(公告)日: | 2022-01-25 |
发明(设计)人: | 周法国 | 申请(专利权)人: | 中国矿业大学(北京) |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/36;G06F40/284 |
代理公司: | 北京方圆嘉禾知识产权代理有限公司 11385 | 代理人: | 董芙蓉 |
地址: | 100083 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 文本 表示 方法 | ||
1.基于图的文本表示方法,其特征在于:其方法步骤为:
步骤一:输入文本文档D;
步骤二:输出文本图G(V,E,W1,W2);
步骤三:确定每个文档对应图模型的最多顶点个数n;
步骤四:对文档进行分词、词性标注、预处理,并对其进行词频统计;
步骤五:选取最能代表该文档的特征词条,其个数不超过n,并记录所有特征词在文档中的先后顺序;
步骤六:对文档D,由其所有特征词条作为图模型的顶点,相应的特征词条的出现频率构成顶点的权重,从而构成顶点的权重集合W1;
步骤七:如果两个特征词在文档的某一段落中先后出现,则它们之间有一条有向边,边的方向由先出现的特征词指向后出现的特征词;
步骤八:根据公式(1)确定特征词条的关联矩阵M,U;
步骤九:根据公式对矩阵U进行归一化处理,确定归一化后的关联矩阵W;
步骤八所述公式(1)是由定义1的两个特征词条之间边的语义测度定义,语义测度定义:wAB=1/(num(B)-num(A)) (1)
其中,num(B)表示特征词条B在文档中的顺序号,num(A)表示特征词条A在文档中的顺序号;
其中定义1是一个文档D对应的就是词语义空间下的图G,G是一个四元组G(V,E,W1,W2)由带有权的顶点集V(G)和带有权的边集E(G)构成的带权有向图,顶点集V(G)由出现在文档D中所有特征词条构成;边上的权W2表示与其关联的两个特征词条间约束程度的大小,所有的边所构成的集合称之为边集E(G),边上的权W2构成的集合称为边的权重集W2。
2.根据权利要求1所述的基于图的文本表示方法,其特征在于:所述定义1的文档表达形式为:
T=[t1,t2,…,tn] (2)
其中,T:特征词条集合;ti为特征词条,i=1,2,…,n;M:特征词条的关联矩阵;aij:特征词条ti和tj的关联强度(1≤i≤j≤n),
如果某个词A在同一段落中同时多次约束另一个词B,则仅计他们之间的最近约束关系,根据定义1可知,最大约束值为1,得到矩阵U:
一般地,需要对矩阵U进行归一化处理,
令
其中i,j,k,l=1,2,…,n则得到归一化的矩阵W:
3.根据权利要求1所述的基于图的文本表示方法,其特征在于:两个文档D1和D2语义越接近,则它们的对应的文档图也越相似,相反,两个文档图越相似,则它们在语义上是越接近的,两个文档D1和D2语义越接近,体现在图的特征上,两个图就有更多的相同的顶点和边,并且边上的权值也越接近。
4.根据权利要求1所述的基于图的文本表示方法,其特征在于:假设两个文档D1和D2对应的带权有向图分别为G1和G2,G1和G2的最大公共子图为C,则文档D1和D2的相似性定义如下:
其中,|V(C)|代表带权有向图G1和G2的最大公共子图C的顶点个数,n=Max{|V(G1)|,V(G2)},常数因子β取0~1之间的小数,
文档相似度,反映两篇文档之间的相似程度,通常为一个0~1之间的数值,0表示不相似,1表示完全相似,数值越大表示两篇文档越相似,
两个文档语义越接近,体现在图的特征上,两个图就有更多相同的顶点和边,并且边上的权值也越接近,式(7)中,是对两个图的顶点组成的度量,两个文档语义越接近,对应的图越相似,取值越大,越接近1;而是对两个图的边的组成的度量,两个文档语义越接近,对应的图越相似,取值越大,越接近1,线性组合代表了对两个文档对应的图的相似性的度量,并且S(D1,D2)取值介于0~1之间,相应地,两个文档D1和D2的距离Dis(D1,D2)=1-S(D1,D2)。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国矿业大学(北京),未经中国矿业大学(北京)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710599697.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种方便自动充气的气柱袋
- 下一篇:一种可防止灰尘掉落的测尘滤膜存放装置