[发明专利]一种新闻综述生成方法与系统

权利要求书

1.一种新闻综述生成方法，其特征在于，该方法通过对面向同一事件的新闻的段落重新分割，重要性排序，选择并且合并以及最后的重新排序，最终基于重组得到的新闻段落构建新闻综述；包括如下步骤：

(1)针对原始新闻材料的段落重新分割构建；

(2)对新闻材料重新构建出的段落进行重要性预测；

(3)根据段落重要性进行段落选择，融合；

(4)对选择出来的段落进行重排序，构成新闻综述；其中：

针对原始新闻材料的段落重新分割构建，其具体做法包括四个部分：对新闻材料进行分词，计算句子间隔的语义学分数，计算句子间隔的“深度”分数，最后对新闻进行划分；

第一步：原始新闻材料进行分词预处理；如果是英文的语料需要将单词都转化为小写字母，然后进行词干化，即将经过各种人称及时态变化的单词转化为其词干，如果是中文语料那么只需要进行分词；

第二步：计算句子间隔的语义学分数；对于每一个语义间隔，其前后的文本单位分别用b₁和b₂表示，那么句子间隔的语义学相似度用如下公式表示；

其中t表示所有在预处理过程中得到的原始新闻中的所有非停用词的词语；并且w_t，b代表词语t在语义单元b中的权重，这里的权重用词语t在语义单元b中出现的频数决定；这个权重的取值在0到1之间；

第三步：计算句子间隔i的“深度”分数d_i；计算过程中首先寻找相对于句子间隔i的左边的高峰位置l和右边的高峰位置r；左边的高峰位置l就是相对于句子间隔i向左找到第一个位置，使其满足d_l-1＜d_l；基于同样方式得到右边的高峰位置r，那么d_i＝(d_l-d_i)+(d_r-d_i)；

第四步：对新闻进行划分；在得到每一个句子间隔的“深度”分数d_i之后，根据不同新闻类型取不同的“深度”分数阈值来决定划分段落的个数，即设置阈值为d，如果句子间隔的“深度”分数大于d，作为新的段落分割；d满足正态分布，取阈值为d的平均值与d的标准差σ之间的差值，即

2.根据权利要求1所述的新闻综述生成方法，其特征在于，对新闻材料重新构建出的段落进行重要性预测；使用基于节点重新加强的随机游走图模型进行重要性排序；图模型的信息图建立过程是将每一个划分的新闻段落作为节点，节点之间的TFIDF向量相似度作为初始的转移概率，特殊的是在同一篇新闻中的段落，转移概率均为0；

p_T(v)是T时刻游走于状态v的概率，p_T(u，v)是T时刻状态u转移到状态v的转移概率，需要迭代计算，计算公式如下：

p_T(v)＝∑_u∈Vp_T-1(u，v)p_T-1(u)

其中D_T(u)＝∑_v∈Vp₀(u，v)·p_T(v)，而且p^*(v)是平均分布概率，表示初始每一个段落即图中的节点被访问的概率相同；迭代计算到满足下面的公式即可，即达到收敛状态；

∑_v∈Vp_T(v)-p_T-1(v)＜0.00001

达到收敛之后，p_T(v)便是每个段落的重要性分数，λ为常数。

3.根据权利要求2所述的新闻综述生成方法，其特征在于，根据段落重要性进行段落选择，融合；由段落的重要性分数，根据需要生成的综述的字数限制，选择重要性高的段落构成最终的新闻综述；选择的过程中进行段落的融合；段落融合的过程根据下面的算法描述进行：

算法：段落融合

输入：段落集合G＝{g₁，...g_n}，并且每个段落都有一个重要性分数p(g_i)每两个段落g_i和g_j之间的余弦相似度值gSim_i，j

输出：新闻综述的段落集合O

算法过程：

4.根据权利要求3所述的新闻综述生成方法，其特征在于，对选择出来的段落进行重排序，构成新闻综述；使用拓扑排序的方法对新闻综述的段落集合进行重新排序；重新排序满足两大准则：

第一大准则是如果段落g_i和段落g_j来自于同一篇原始新闻，那么段落的前后顺序保持原来的顺序，且位置在结果中相邻；

第二大准则是如果段落g_i和段落g_j不是来自于同一篇原始新闻，那么含有重要性分数高的段落及与其来自于同一篇原始新闻的段落靠前排列。