[发明专利]一种基于Bi-LSTM-CNN的分词方法

摘要

本发明公开了一种基于Bi‑LSTM‑CNN的分词方法。本方法为将训练语料数据转化为字符级的语料数据；统计语料数据字符得到一字符集合并对每个字符进行编号，得到字符编号集合；统计字符标签得到一标签集合，对标签编号得到标签编号集合；将语料按照句子长度划分，根据句子长度对得到的句子分组，得到包括n组句子的数据集合；随机无放回的从数据集合中选取一句子分组，从中抽取多个句子，每一句子的字符构成一数据w，对应的标签集合为y；将数据w转换为对应的编号和标签y送入模型Bi‑LSTM‑CNN，训练深度学习模型的参数；将待预测的数据转换成与深度学习模型匹配的数据，并将其送入训练好的深度学习模型，得到分词结果。

主权项

一种基于Bi‑LSTM‑CNN的分词方法，其步骤包括：1)将训练语料数据OrgData转化为字符级的语料数据NewData；2)统计该语料数据NewData字符得到一字符集合CharSet，并对该字符集合CharSet中每个字符进行编号，得到该字符集合CharSet对应的字符编号集合CharID；统计NewData中的字符的标签，得到一标签集合LabelSet，对该标签集合LabelSet的标签进行编号，得到对应的标签编号集合LabelID；3)将NewData按照句子长度划分，得到若干句子；然后根据句子长度对得到的句子进行分组，得到包括n组句子的数据集合GroupData；4)随机无放回的从该数据集合GroupData中选取一句子分组，从该句子分组中抽取BatchSize个句子，每一个句子的字符构成一数据w，该句子的字符对应的标签集合为y；根据字符编号集合CharID将数据w转换为对应的编号，得到数据BatchData；根据标签编号集合LabelID将集合y中的标签转换为对应的编号，得到数据yID；5)将步骤4)生成的多个数据BatchData及其对应的标签数据yID一起送入深度学习模型Bi‑LSTM‑CNN，训练该深度学习模型Bi‑LSTM‑CNN的参数，当深度学习模型产生的损失值Cost(y′,yID)满足设定条件或者达到最大迭代次数N，则终止深度学习模型的训练，得到训练后的深度学习模型Bi‑LSTM‑CNN；否则采用步骤4)的方法重新生成数据BatchData训练该深度学习模型Bi‑LSTM‑CNN；6)将待预测的数据PreData转换成与该深度学习模型Bi‑LSTM‑CNN匹配的数据PreMData，并将其送入训练好的深度学习模型Bi‑LSTM‑CNN，得到分词结果OrgResult。