[发明专利]一种文本集合相似性的可视化方法和装置

权利要求书

1.一种文本集合相似性的可视化方法，其特征在于，所述方法包括： 

对文本集合进行预处理，以得到文本集合的特征词及特征词的权重； 

对文本集合的相似度进行计算； 

对文本集合的相似性进行可视化。 

2.根据权利要求1所述的方法，其特征在于，所述预处理包括： 

将文本集合中的句子切分成词；去除停用词得到文本集合的特征词；并通过出现频次计算得到特征词的权重。 

3.根据权利要求1所述的方法，其特征在于，所述对文本集合的相似度进行计算，具体包括： 

构建用于文本集合相似度计算的模型；利用构建出的相似度计算模型和通过预处理得到的文本集合的特征词及其权重，计算文本集合的相似度。 

4.根据权利要求3所述的方法，其特征在于，所述模型使用康奈尔大学计算机系开发的SVM^rank工具包进行构建，采用两个文本集合的含权重特征词组的余弦相似度、共同特征词个数、共同特征词个数分别与两个特征词组的大小比值这4个特征作为构建参数，然后，利用SVM^rank工具包计算出两组特征词的相似度v，文本集合的相似度 。

5.根据权利要求1至4任一权利要求所述的方法，其特征在于，所述对文本集合的相似性进行可视化包括： 

计算特征词在图形展示中布局信息；利用计算出的布局信息图形化展示文本集合的相似性。 

6.根据权利要求5所述的方法，其特征在于，所述图形化展示的视觉特点为： 

特征词整体分布呈椭圆形，字体越大，位置越靠近原点；共同特征词以颜 色1表示，字体大小与特征词的权重以及文本集合A与B的相似度大小相关，并且比非共同特征词字体大，以突显共同特征词；文本集合A的非共同特征词以颜色2表示，字体大小与特征词的权重相关；文本集合B的非共同特征词以颜色3表示，字体大小与特征词的权重相关；文本集合A和B的非共同特征词的边界，在保证图形轮廓规则性的基础上，与非共同特征词组的大小相关。 

7.一种文本集合相似性的可视化装置，其特征在于，所述装置包括： 

预处理模块，用于将待可视化的原始数据进行预处理，获得文本集合的特征词及特征词的权重； 

文本相似性计算模块，用于计算文本集合的相似度； 

可视化模块，用于利用上述结果数据进行信息可视化，呈现出文本集合的相似性。 

8.根据权利要求7所述的装置，其特征在于，所述预处理模块包括： 

分词单元，用于将文本集合进行分词并去掉停用词，获得独立的特征词组； 

词语权重计算单元，用于计算文本集合的特征词的权重。 

9.根据权利要求7所述的装置，其特征在于，所述文本相似性计算模块包括： 

计算模型构建单元，用于通过标注的文本语料构建用于文本集合相似度计算的模型； 

计算单元，用于利用构建出的相似度计算模型和通过预处理模块得到的文本集合特征词及权重，计算文本集合的相似度。 

10.根据权利要求7至9任一权利要求所述的装置，其特征在于，所述可视化模块包括： 

布局计算单元，用于计算出每个特征词在图形展示中的布局信息； 

图形界面单元，用于利用计算出的布局信息生成图片，并显示在浏览设备中。 

11.根据权利要求10所述的装置，其特征在于，布局计算单元计算出的布 局信息特点包括： 

特征词整体分布呈椭圆形，字体越大，位置越靠近原点；共同特征词以颜色1表示，字体大小与特征词的权重以及文本集合A与B的相似度大小相关，并且比非共同特征词字体大，以突显共同特征词；文本集合A的非共同特征词以颜色2表示，字体大小与特征词的权重相关；文本集合B的非共同特征词以颜色3表示，字体大小与特征词的权重相关；文本集合A和B的非共同特征词的边界，在保证图形轮廓规则性的基础上，与非共同特征词组的大小相关。