[发明专利]一种基于综合特征提取的对话摘要生成方法及系统

说明书

本发明公开一种基于综合特征提取的对话摘要生成方法，涉及信息处理技术领域，包括：获取对话数据；对所述对话数据进行词性标注和命名实体识别，得到候选词；对所述对话数据利用数理统计法进行特征提取，得到词特征；将所述词特征进行拼接得到特征向量；根据所述特征向量和所述候选词利用无监督算法得到第一关键词；根据所述特征向量和所述候选词利用有监督算法得到第二关键词；根据所述第一关键词和所述第二关键词生成对话摘要。本发明提供的方法及系统能够提高复杂对话场景的对话摘要的生成质量。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种基于综合特征提取的对话摘要生成方法及系统。

背景技术

目前对于自动摘要问题，研究者主要采用机器学习、深度学习和特征工程的方法。有研究学者采用频率、情绪、语义单方面特征，使用SVM和决策树提取对话摘要，实验证明在聊天摘要任务中决策树优于SVM；一些学者提出了一种Pointer-Generator网络以解决摘要问题；还有学者提出了一种基于RNN的SummaRuNNer网络模型以解决文档摘要问题；另有学者提出了一种基于对话行为选择的Sentence-Gated模型；此外，某些研究机构基于辅助要点序列提出了一种Leader-Writer网络解决摘要生成问题，可以让客服对话摘要的生成更具有完整性、逻辑性与正确性。近年来的研究主要集中于深度学习的方法，取得了较好的成果，但是相较于经典的机器学习方法(比如K近邻、决策树等)，深度学习方法的训练、测试复杂度更高，对于数据复杂度高的情况，对话摘要的生成质量不够理想。

发明内容

本发明的目的是提供一种基于综合特征提取的对话摘要生成方法及系统，以提高复杂对话场景的对话摘要的生成质量。

为实现上述目的，本发明提供了如下方案：

一种基于综合特征提取的对话摘要生成方法，包括：

获取对话数据；

对所述对话数据进行词性标注和命名实体识别，得到候选词；

对所述对话数据利用数理统计法进行特征提取，得到词特征；

将所述词特征进行拼接得到特征向量；

根据所述特征向量和所述候选词利用无监督算法得到第一关键词；

根据所述特征向量和所述候选词利用有监督算法得到第二关键词；

根据所述第一关键词和所述第二关键词生成对话摘要。

可选的，所述将所述词特征进行拼接得到特征向量，具体包括：

根据所述词特征利用如下公式进行拼接得到特征向量；

v_i＝[x₁,x₂,...,x_j]

其中，v_i为词i的特征向量，x₁～x_j表示词特征；j表示第j个词特征。

可选的，所述根据所述特征向量和所述候选词利用无监督算法得到第一关键词，具体包括：

根据所述特征向量利用如下公式确定词的分数；

其中，x_i,j为词i的特征向量中的第j个特征，x_min,j为所有词中第j个特征的最小值，x_max,j为所有词中第j个特征的最大值，k为词特征的个数，S_i为词i无监督算法取得的分数；

将分数在第一设定阈值范围内对应的词确定为第一关键词。

可选的，所述根据所述特征向量和所述候选词利用有监督算法得到第二关键词，具体包括：