[发明专利]一种基于机器学习的分词方法及终端设备

权利要求书

1.一种基于机器学习的分词方法，其特征在于，该方法包括：

获取经过人工分词的文本数据；

针对所述文本数据中的任一字符，判断所述字符的类型，其中，所述字符的类型为标点符号、阿拉伯数字、中文数字或字母中的一种，或，所述字符的类型为所述字符单独构成一个中文词语、所述字符位于一个中文词语的词首位置、所述字符位于一个中文词语的中间位置或所述字符位于一个中文词语的词尾位置中的一种；

根据所述字符的类型、在所述文本数据中与所述字符相邻且位于所述字符前面的第一预设数目的字符的类型、在所述文本数据中与所述字符相邻且位于所述字符后面的第二预设数目的字符的类型，获取所述字符的特征向量，得到训练集；

构建分词模型，通过所述训练集对所述分词模型进行训练；

根据完成训练的分词模型，将待处理文本进行分词处理。

2.根据权利要求1所述的分词方法，其特征在于，判断所述字符的类型包括：

针对所述文本数据中任一字符，判断所述字符是否属于标点符号、阿拉伯数字、中文数字或字母中的一种；

若所述字符不属于标点符号、阿拉伯数字、中文数字或字母中的一种，则判断所述字符的位置类型，所述字符的位置类型包括所述字符单独构成一个中文词语、所述字符位于一个中文词语的词首位置、所述字符位于一个中文词语的中间位置或所述字符位于一个中文词语的词尾位置中的一种。

3.根据权利要求2所述的分词方法，其特征在于，所述判断所述字符的位置类型包括：

统计在在所述文本数据中所述字符单独构成一个中文词语的次数、所述字符位于一个中文词语的词首位置的次数、所述字符位于一个中文词语的中间位置的次数、所述字符位于一个中文词语的词尾位置的次数以及所述字符出现的总次数；

依次计算所述字符单独构成一个中文词语的次数与所述字符出现的总次数的比值、所述字符位于一个中文词语的词首位置的次数与所述字符出现的总次数的比值、所述字符位于一个中文词语的中间位置的次数与所述字符出现的总次数的比值和所述字符位于一个中文词语的词尾位置的次数与所述字符出现的总次数的比值；

若计算结果中存在大于预设比值的值，则确定与所述字符出现的总次数的比值大于预设比值的字符的类型为所述字符的位置类型，其中，所述预设比值大于等于50％；

若计算结果中不存在大于预设比值的值，则根据基于概率图模型的条件随机场算法估计所述字符的位置类型。

4.根据权利要求3所述的分词方法，其特征在于，所述字符为c₀，所述获取所述字符的特征向量包括：

获取所述字符的n-gram特征，所述字符的n-gram特征包括字符c_i的类型，双字符c_ic_i+1中每个字符的类型，双字符c_ic_i+2中每个字符的类型，其中，当i为正整数时，c_i为位于所述字符c₀后面的第i个字符，当i为负整数时，c_i为位于所述字符c₀前面的第i个字符，当i为0时，c_i为所述字符c₀；

获取所述字符的重复信息特征，所述字符的重复信息特征用于表示所述字符c₀与字符c_j是否是两个完全相同的字符，其中，j为负整数，c_j为位于所述字符c₀前面的第j个字符；

获取位于所述字符前面的至少一个字符的类型；

根据所述字符的n-gram特征、重复信息特征和位于所述字符前面的至少一个字符的类型，得到所述字符的特征向量。