[发明专利]一种基于文本分割技术的多文档文摘方法

权利要求书

1.一种基于文本分割技术的多文档文摘方法，其特征在于，该多文档文摘方法包括以下步骤：

步骤一，以“知网”作为工具获取概念，并以获取的概念作为特征建立概念向量空间模型；

步骤二，使用改进的Dotpfotting算法进行文本分割，获得文本的主题划分；

步骤三，利用建立的概念向量空间模型计算句子权重，根据句子权重、主题划分、句子相似度产生文摘。

2.如权利要求1所述的多文档文摘方法，其特征在于，步骤一，以“知网”作为工具获取概念时，将“知网”结构中的DEF项相同的词语作为词义相同的义原，提取出来作为同一个概念不同词语的集合，具体的实现步骤为：

S11，选择多义词的DEF项

S111，利用中科院计算所的ICTCLAS平台对文本进行词语切分和词性的标注，去除对文本文摘作用不大的介词、虚词、数词词语，提取出关键的名词、形容词重要词语进行处理，得到一个切分好和带词性标注的文本；

S112，在对多义词的DEF项选取主要分两种情况进行，一种情况是有些多义词在不同语境下的词性是不同的，可根据标注好词性的特点确定这些多义词的DEF项，另外一种情况是在不同DEF项下有相同的词性，但在不同语境下需要与不同词性词语搭配使用，根据不同语境将会产生不同的语法形式确定这类多义词的DEF项；

S12，在确定多义词DEF项后，采用改进的DEF项获取其他词语概念

S121，重新定义DEF项，将DEF项扩展为包含的基本义原和该词语中的关系义原的并集，在扩展时过滤掉“知网”中含义过大、过宽泛的抽象义原；

S122，以句子为单位建立概念获取前的文档模型，表示为Sj(W1，W2，...Wn)，文档由j句话构成，每句话包含n个词语；

S123，进入建立向量空间模型的句子扫描，设目前正在扫描第j句话；

S124，扫描句中词语Wi，找到所对应的DEF项，并在该句话中扫描是否有与DEF项义原相同的词语，如果没有则标注词语Wi的概念，则扫描句子下一个词语Wi+1，转到S24，句中所有词语扫描完，进入下一个句子的扫描，转到S23；若有相同词语，转到S25；

S125，提取出词语Wk，找出Wk所对应的DEF项，若词语Wk的DEF项义原词语未包含Wi，则将词语Wi和Wk的概念以Wi的DEF项进行标注；若出现词语Wi，则通过比较两个词语在DEF项描述的义原的距离，采用离基本义原更有的那个词语的DEF项作为这两个词语的概念，进入下一个词语Wi+1的扫描，转到S24；句中所有词语扫描完，进入下一个句子的扫描，转到S23。