[发明专利]文本规整方法及装置、存储介质、电子设备

说明书

本公开提供一种文本规整方法及装置、存储介质、电子设备。所述方法包括：获取待规整文本数据；提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据中各单词的词向量、所述待规整文本数据中各单词的词性向量、和用于描述所述待规整文本数据中重复部分的离散特征；基于所述文本规整特征，通过预先构建的文本规整模型进行规整，获得文本规整结果，所述文本规整模型的拓扑结构为编码器‑解码器结构。如此方案，有助于提高文本规整效果。

技术领域

本公开涉及自然语言处理领域，具体地，涉及一种文本规整方法及装置、存储介质、电子设备。

背景技术

随着互联网技术的迅速发展，人们每天面对的信息越来越多，而这些信息中大部分是以文本的形式出现。

在实际应用过程中，文本数据中可能会存在大量噪声数据，例如，无意义的且大量出现的词，或者语义相近重复出现的词，严重干扰用户获取文本信息。此外，由于这些噪声数据的存在，使得文本数据的描述较为随意，无法直接使用，例如，记者采访过程中的语音数据，经过语音识别得到的文本数据中，经常会存在语气词、应答语、口头禅或重复描述等现象，导致无法直接使用文本数据中的相关描述编辑成稿发表，大大增加了文本编辑人员的工作量。因此，如何去除文本数据中的噪声数据，对文本数据进行规整，使规整后的文本数据更书面化具有重要意义。

目前的文本规整方案主要有以下两种：

方式一，通过人工对文本数据中存在的重复、无意义、口语化的词进行规整。该方案中，既需要耗费大量的人力资源，又受限于规整人员的专业性无法确保文本规整的质量。

方式二，预先设定部分关键词的规整规则，利用关键词与待规整文本数据进行匹配，如果能匹配中，则按照规则对匹配中的词语进行规整。该方案中，规整效果完全取决于预先设定的关键词及关键词的规整规则，只适用于一些简单的口语删除、替换等。

发明内容

本公开的主要目的是提供一种文本规整方法及装置、存储介质、电子设备，有助于提高文本规整效果。

为了实现上述目的，本公开提供一种文本规整方法，所述方法包括：

获取待规整文本数据；

提取所述待规整文本数据的文本规整特征，所述文本规整特征包括：所述待规整文本数据中各单词的词向量、所述待规整文本数据中各单词的词性向量、和用于描述所述待规整文本数据中重复部分的离散特征；

基于所述文本规整特征，通过预先构建的文本规整模型进行规整，获得文本规整结果，所述文本规整模型的拓扑结构为编码器-解码器结构。

可选地，所述待规整文本数据中各单词的词向量为所述单词对应的汉字生成的词向量；

或者，

所述待规整文本数据中各单词的词向量为所述单词对应的笔划串生成的词向量。

可选地，利用所述单词对应的笔划串生成词向量的方式为：

将所述单词对应的笔划串向量输入卷积神经网络，并对所述卷积神经网络的输出进行时域池化操作，获得定长的隐层特征；

对所述定长的隐层特征进行线性变换，得到所述单词的词向量。

可选地，按照以下方式构建所述文本规整模型：

采集训练文本数据，并获得各条训练文本数据对应的规整后文本数据；

提取所述训练文本数据的文本规整特征，所述文本规整特征包括：所述训练文本数据中各单词的词向量、所述训练文本数据中各单词的词性向量、和用于描述所述训练文本数据中重复部分的离散特征；

确定所述文本规整模型的拓扑结构为编码器-解码器结构；