[发明专利]一种基于机器学习的分词方法及终端设备

说明书

本发明提供了一种基于机器学习的分词方法及终端设备，包括：获取经过人工分词的文本数据；针对文本数据中的任一字符，判断字符的类型；根据字符的类型、在文本数据中与字符相邻且位于字符前面的第一预设数目的字符的类型、在文本数据中与字符相邻且位于字符后面的第二预设数目的字符的类型，获取字符的特征向量，得到训练集；构建分词模型，通过训练集对分词模型进行训练；根据完成训练的分词模型，将待处理文本进行分词处理。本发明根据字符与其上下文字符的类型关系构建特征向量，对不同的文本进行分词适应性更好，从而提高了分词的精度。

技术领域

本发明属于计算机技术领域，尤其涉及一种基于机器学习的分词方法及终端设备。

背景技术

在自然语言处理或计算机语言中，新词是指以前从来没有出现过的词汇，或者在词典中没有收录的词汇。随着互联网技术的不断发展，各行各业随之出现了多种新词，尤其是web2.0应用的出现，允许用户自己创造网页内容，从而导致大量新词涌现。

在中文信息处理领域，由于中文不像英文等西方语言，词与词之间有固定的分隔符，因此中文分词是一项重要的基础技术。新词的出现很大程度上影响自动分词工具的准确性，使得分词的精确度较低。

发明内容

有鉴于此，本发明实施例提供了一种基于机器学习的分词方法及终端设备，以解决现有技术分词精确度低的问题。

本发明实施例的第一方面提供了一种基于机器学习的分词方法，包括：

获取经过人工分词的文本数据；

针对所述文本数据中的任一字符，判断所述字符的类型，其中，所述字符的类型为标点符号、阿拉伯数字、中文数字或字母中的一种，或，所述字符的类型为所述字符单独构成一个中文词语、所述字符位于一个中文词语的词首位置、所述字符位于一个中文词语的中间位置或所述字符位于一个中文词语的词尾位置中的一种；

根据所述字符的类型、在所述文本数据中与所述字符相邻且位于所述字符前面的第一预设数目的字符的类型、在所述文本数据中与所述字符相邻且位于所述字符后面的第二预设数目的字符的类型，获取所述字符的特征向量，得到训练集；

构建分词模型，通过所述训练集对所述分词模型进行训练；

根据完成训练的分词模型，将待处理文本进行分词处理。

本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：

获取经过人工分词的文本数据；

针对所述文本数据中的任一字符，判断所述字符的类型，其中，所述字符的类型为标点符号、阿拉伯数字、中文数字或字母中的一种，或，所述字符的类型为所述字符单独构成一个中文词语、所述字符位于一个中文词语的词首位置、所述字符位于一个中文词语的中间位置或所述字符位于一个中文词语的词尾位置中的一种；

根据所述字符的类型、在所述文本数据中与所述字符相邻且位于所述字符前面的第一预设数目的字符的类型、在所述文本数据中与所述字符相邻且位于所述字符后面的第二预设数目的字符的类型，获取所述字符的特征向量，得到训练集；

构建分词模型，通过所述训练集对所述分词模型进行训练；

根据完成训练的分词模型，将待处理文本进行分词处理。

本发明实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：

获取经过人工分词的文本数据；