[发明专利]一种基于多模型组合神经网络的老挝语分词方法

说明书

本发明公开了一种基于多模型组合神经网络的老挝语分词方法，属于自然语言处理和机器学习技术领域。本发明基于双向长短期记忆(Bi‑LSTM)神经网络结合attention模型和CRF模型，首先在待分词的老挝语料上进行字向量训练；然后引入去噪机制对输入的字嵌入量进行过滤调整；将过滤后的字嵌入向量输入Bi‑LSTM神经网络进行编码并输出音节序列，根据老挝语音节拼写规则将音节序列表示成特征词向量；引入attention模型对Bi‑LSTM网络的输入输出之间的相关性进行重要度计算，获取有效的老挝语词向量特征；最后由CRF层解码输出概率最大的标签序列，使用4词位标注集表达文本的词位信息。利用改进的attention‑Bi‑LSTM‑CRF神经网络建立的老挝语分词模型，可有效对老挝语进行分词。

技术领域

本发明涉及一种基于多模型组合神经网络的老挝语分词方法，属于自然语言处理和机器学习技术领域。

背景技术

所谓分词是指将未加工的自然语言文本分割成单词的顺序，分词作为信息处理任务中的一项基础工作，是自动问答、机器翻译、文本校对、摘要生成等任务的前提。在英语中，单词之间以空格作为的自然分隔符，但在老挝语中没有明显的分割标识，它和汉语句子在结构上相似，具有字符连续书写的特点。从深度学习角度来看，分词任务可转化成序列标注任务。序列标注任务指将观察序列中的每个元素在固定标签集合中为之赋予一个指定标签的过。目前，常用的解决序列标记任务的模型有隐马尔可夫模型、条件随机场模型和最大熵模型。然而，这些传统的模型需要使用大量的语言学知识来手工构造特征，因此不具有广泛的适用性。

发明内容

本发明要解决的技术问题是提供一种基于多模型组合神经网络的老挝语分词方法，用于将老挝语句子分割成词语序列，提高分词精度。

本发明采用的技术方案是：一种基于多模型组合神经网络的老挝语分词方法，包括如下步骤：

Step1、将老挝语分词语料预处理后进行数据集划分，随机抽取90％作为训练集，10％数据作为测试集；

Step2、将待分词的老挝语料上进行文本向量化，将文本中的每一个字映射成一个固定长度的短向量，以作为当前字的特征向量表示；

Step3、引入去噪机制对输入的字嵌入量进行过滤调整；

Step4、Bi-LSTM模型对过滤后的字向量片段进行编码并输出具有上下文语义特征的老挝语音节序列；根据老挝语音节拼写规则将音节序列表示成特征词向量；

Step5、引入attention模型对Bi-LSTM网络的输入输出之间的相关性进行重要度计算，获取有效的老挝语词向量特征；

Step6、将词向量特征输入CRF层，经过softmax变换，加入标签转移概率矩阵，选择词性概率分布中概率最大的标签序列作为输出，生成音节的标注标签序列，最后使用4词位标注集得到老挝语句子预测分词结果。

具体地，所述步骤Step2中字向量训练是将字符向量化，向量之间的映射关系反映出字符间的语义相关性，选择字符向量维度为128维，由Word2Vec生成字嵌入向量，对字嵌入向量使用Dropout方法。

具体地，所述步骤Step3中去噪机制实际为一个神经网络层，通过函数k_t＝f_t⊙x_t对字嵌入量进行筛选，得到字向量输出k_t，其中⊙表示逐点乘积操作，f_t定义为f_t＝f(w_fx_t+b_f)，f函数为f(x)＝|sin x|，w_f表示当前层的权值矩阵，b_f表示偏置向量，Step2中的x_t作为函数的向量参数，利用固定上下文窗口内的字表示当前字，对固定窗口内的信息进行调整，使得固定窗口内的字嵌入以一定概率出现，减少无效信息向量的出现。