[发明专利]一种对无标点文本添加标点符号的方法

说明书

本发明公开了一种对无标点文本添加标点符号的方法，其包括：处理获得平行语料；通过神经网络框架训练平行语料，以得到符号添加模型；之后使用符号添加模型为待处理文本添加对应标点。通过本发明，可以简单方便地实现标点符号的添加，并提高标点符号的准确性和广泛适用性。

技术领域

本发明涉及自然语言处理(NLP)及信息处理领域，其具体地说是一种对语音识别后，所识别出来的无标点的文本序列进行符号添加的方法。

背景技术

在现代社会中，自动语音识别(ASR)系统越来越受到重视和应用。ASR能够运用到各个领域和环境中，例如语音助手、智能客服和语音翻译等等。但是目前的ASR系统只能够生成没有标点符号的文本序列，这就导致较长语音的识别后生成的无标点的句子很难被理解，会产生较严重的歧义问题，从而不能够被分析且使用。在一些语音助手、智能客服和语音翻译的使用场景中，纯文字的序列带来巨大的阅读压力和极差的用户体验。具体以语音翻译场景为例，对语音输入的英文进行语音识别并翻译后，此时得到的英文翻译后的中文文本序列，该文本序列没有中文标点符号进行语义的断句，给用户带来阅读上的困难。因此，需要提出一个对无标点文本进行符号标注的的方法，来提高实际生活中相关场景中的文本阅读的可读性和ASR系统的整体易用性。

目前国内外诸多学者在针对该问题提出不同的解决方法。现有方案主要分为两大类，一种为对语音信号进行处理，另一种为对文本序列进行处理。对语音信号处理可以根据语音信号的静音间隔，为语音识别的结果对应的文本进行标点符号的添加。具体地，可以首先设置静音长短的阈值，如果语音信号中讲话用户说话时的静音间隔的长度超过该阈值，则在对应位置上添加标点；反之，如果语音信号中讲话用户说话时的静音间隔的长度未超过阈值，则不添加标点。然而，这种方法并不能取得较满意的效果，因为用户的说话语速并不相同，如果语速过慢就会产生一字一标点地情况，而且进行添加的标点也较为单一，导致标点的准确率较低且效果较差。对文本序列进行处理，采用基于特征模板与条件随机场CRF结合的方法，或者基于神经网络的方法。但是这两种方法并不能很好的提取文本序列的特征，因此对文本序列对应的符号标签的预测准确率较低，不能取得较好的符号添加效果。

发明内容

本发明的目的是针对现有技术的不足而提出的一种标点符号添加的方法，能够克服上述所存在的问题或者至少部分的解决上述问题，提高中文标点符号添加的准确性。

实现本发明目的的具体技术方案是：

一种对无标点文本添加标点符号的方法，特点是该方法包括以下具体步骤：步骤1：自动化处理有标点的文本数据，获得平行语料，即带有标点的用于模型训练的源训练语料和用于检验效果的目标语料；

步骤2：通过神经网络框架训练平行语料，得到符号添加模型；具体包括：

A1：通过对源训练语料中词序列的文本进行词向量编码，以得到源训练语料的高纬度的向量化表示；

A2：运用卷积神经网络CNN，对每一个中文字符进行编码，得到字符级的向量化表示，将其与高纬度的词向量结合，最终得到语料中的词的向量化表示；

A3：将向量化表示的源训练语料作为输入，放入神经网络框架中，获取完整的源训练语料词序列的隐含状态序列；其中神经网络为双向的长短期记忆网络Bi-LSTM，包括正向隐含状态序列与反向隐含状态序列，按位置拼接后得到完整的隐含状态序列；设置全连接层，将隐状态向量映射到k维，其中k为需要添加的标点符号种类；

A4：将k维的向量输入到条件随机场CRF中，通过转移矩阵A得到无标点的文本中待加标点的位置的得分；

A5：通过对无标点的文本中待加标点的位置的得分进行归一化(即softmax)处理，得到词序列对应标点符号的概率；

A6：训练步骤1中平行语料得到符号添加模型；