[发明专利]基于模型训练的分词方法、装置、设备以及介质

说明书

本发明公开了一种基于模型训练的分词方法、装置、设备以及介质，该方法包括：选取目标领域对应的待分词样本数据；确定待分词样本数据对应的具有标注信息的各个分词序列；基于标注信息确定与各个分词序列对应的分词依据信息，分词依据信息包括词位依据信息和上下文依据信息；根据待分词样本数据和分词依据信息训练分词模型，得到训练好的分词模型，训练好的分词模型用于根据输入的文本数据输出相应的分词序列。本发明能够提高分词效果。

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于模型训练的分词方法、装置、设备以及介质。

背景技术

目前，网络上存在大量的文本信息，而对这些文本信息进行文本挖掘，得到需要的数据，成为了数据信息处理中尤为重要的环节。

在实践中发现，对文本信息进行文本挖掘的过程中，需要对文本信息进行分词处理，而针对分词处理，需要综合考虑文本的词语之间的关系，词语的表述、词语的实质含义等多种因素，采用现在的分词方法得到的分词结果均不理想，不能快速适配特定应用场景。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于模型训练的分词方法、装置、设备以及介质，以提高分词效果。

根据本发明实施例的一个方面，提供了一种基于模型训练的分词方法，包括：选取目标领域对应的待分词样本数据；确定上述待分词样本数据对应的具有标注信息的各个分词序列；基于上述标注信息确定与上述各个分词序列对应的分词依据信息，上述分词依据信息包括词位依据信息和上下文依据信息；根据上述待分词样本数据和上述分词依据信息训练分词模型，得到训练好的分词模型，上述训练好的分词模型用于根据输入的文本数据输出相应的分词序列。

作为一种可选的实施方式，上述确定上述待分词样本数据对应的具有标注信息的各个分词序列，包括：对上述待分词样本数据进行语义识别，得到样本关键信息；在上述目标领域对应的信息库中查找与上述样本关键信息相匹配的具有标注信息的各个分词序列。

作为一种可选的实施方式，上述基于上述标注信息确定与上述各个分词序列对应的分词依据信息，包括：对于每个分词序列，基于所述标注信息识别上述分词序列中的各个词语的词性信息和词义信息；根据上述分词序列中的上述词性信息和上述词义信息得到词位依据信息，以及根据上述分词序列和相邻序列的上述词性信息和上述词义信息，得到上下文依据信息。

作为一种可选的实施方式，在上述根据上述待分词样本数据和上述分词依据信息训练分词模型，得到训练好的分词模型之后，还包括：将属于上述目标领域的目标文本数据输入上述训练好的分词模型，得到上述目标文本数据对应的目标分词序列。

作为一种可选的实施方式，在上述将属于上述目标领域的目标文本数据输入上述训练好的分词模型，得到上述目标文本数据对应的目标分词序列之后，还包括：根据上述目标领域对应的信息库中的领域专业词语信息，对上述目标分词序列中的非专业用语进行替换，得到替换后的目标分词序列；输出上述替换后的目标分词序列。

根据本发明实施例的另一方面，还提供了一种基于模型训练的分词装置，包括：数据选取单元，用于选取目标领域对应的待分词样本数据；序列确定单元，用于确定上述待分词样本数据对应的具有标注信息的各个分词序列；依据确定单元，用于基于上述标注信息确定与上述各个分词序列对应的分词依据信息，上述分词依据信息包括词位依据信息和上下文依据信息；模型获取单元，用于根据上述待分词样本数据和上述分词依据信息训练分词模型，得到训练好的分词模型，上述训练好的分词模型用于根据输入的文本数据输出相应的分词序列。

作为一种可选的实施方式，上述序列确定单元用于确定上述待分词样本数据对应的具有标注信息的各个分词序列的方式具体为：对上述待分词样本数据进行语义识别，得到样本关键信息；在上述目标领域对应的信息库中查找与上述样本关键信息相匹配的具有标注信息的各个分词序列。