[发明专利]文本处理方法、装置、设备和存储介质

说明书

提供了一种文本处理方法、文本处理装置、文本处理设备以及计算机可读存储介质。所述方法包括获取输入文本；对所述输入文本进行分析，获取所述输入文本对应的分析结果；利用聚类将所述输入文本分割为多个部分；以及基于所述多个部分以及所述分析结果，生成输出文本。

技术领域

本申请涉及文本处理领域，并且具体涉及一种文本处理方法、文本处理装置、文本处理设备以及计算机可读存储介质。

背景技术

深度神经网络是一种大规模、多参数优化的工具。依靠大量的训练数据，深度神经网络能够学习出数据中难以总结的隐藏特征，从而完成多项复杂的任务，如人脸检测、图像语义分割、文本摘要提取、物体检测、动作追踪、自然语言翻译等。

文本摘要提取指的是将一段有明确含义的文本内容进行高度的概括和抽象，生成文本的摘要。传统的文本摘要提取方法极度依赖于文本的具体内容(如表述含义、句式结构、修辞手法和叙述风格等)，因此，不同的文本摘要提取方法应用于不同的文本(诸如不同长度的文本)时性能有所差别。此外，在文本摘要提取的过程中，在一篇文章中可能多次出现同样信息的不同表达形式，这可能会导致在摘要提取的过程的提取的摘要句子的重复。

发明内容

鉴于上述问题，本公开提供了一种文本处理方法、文本处理装置、文本处理设备以及计算机可读存储介质。

根据本公开的一个方面，提供了一种基于神经网络的文本处理方法，包括：获取输入文本；对所述输入文本进行分析，获取所述输入文本对应的分析结果；利用聚类将所述输入文本分割为多个部分；以及基于所述多个部分以及所述分析结果，生成输出文本。

根据本公开的一个方面，其中，利用聚类将所述输入文本分割为多个部分包括：初始化所述多个部分相应的多个中心句；通过计算所述输入文本中的组成句子与所述多个中心句之间的相似度，基于相似度将所述输入文本中的组成句子分别划分到所述多个中心句相应的部分中，并更新所述多个部分所包含的组成句子；在所述多个部分内，通过计算各个组成句子之间的相似度，将总相似度最高的组成句子确定为新的中心句；重复上述过程直到所述新的中心句不再变化。

根据本公开的一个方面，其中，所述对所述输入文本进行分析，获取所述输入文本对应的分析结果包括：对所述输入文本的所有组成句子进行分析，以获取所有组成句子的每一个的句子权重作为所述分析结果。

根据本公开的一个方面，其中，所述基于所述多个部分以及所述分析结果，生成输出文本包括：基于所述所有组成句子的每一个的句子权重，在所述多个部分中选取该部分中句子权重最大的组成句子作为该部分对应的输出结果；将多个部分的输出结果进行合并，以生出输出文本。

根据本公开的一个方面，其中，所述神经网络包括一层文本处理层，利用聚类将输入文本分割为的多个部分的数目由所述文本处理层的输出文本的预定目标句子数目确定。

根据本公开的一个方面，其中，所述神经网络包括N个级联的文本处理层，N≥2，所述N个级联的文本处理层中的第n个文本处理层利用聚类将输入文本分割为的多个部分的数目由所述第n个文本处理层的输出文本的预定目标句子数目确定。

根据本公开的另一个方面，提供了一种基于神经网络的文本处理装置，包括：获取单元，用于获取输入文本；分析单元，用于对所述输入文本进行分析，获取所述输入文本对应的分析结果；分割单元，用于利用聚类将所述输入文本分割为多个部分；以及生成单元，用于基于所述多个部分以及所述分析结果，生成输出文本。

根据本公开的另一个方面，其中，所述分割单元初始化所述多个部分相应的多个中心句；通过计算所述输入文本中的组成句子与所述多个中心句之间的相似度，基于相似度将所述输入文本中的组成句子分别划分到所述多个中心句相应的部分中，并更新所述多个部分所包含的组成句子；在所述多个部分内，通过计算各个组成句子之间的相似度，将总相似度最高的组成句子确定为新的中心句；重复上述过程直到所述新的中心句不再变化。