[发明专利]文本分词、即时消息处理方法和装置

权利要求书

1.一种文本分词方法，包括：

获取待分词的文本；

将所述文本中的字符分别转化为相应的字向量；

在机器学习模型中，按照所述字向量相应的字符在所述文本中的顺序，依次计算每个字向量所对应字符属于预设的各词中位置标注状态的第一概率，按照所述字向量相应的字符在所述文本中的逆序，依次计算每个字向量所对应字符属于预设的各词中位置标注状态的第二概率，根据所述第一概率和所述第二概率，获得所述字向量所对应字符属于预设的各词中位置标注状态的概率，所述词中位置标注状态是字符在所属词中的位置对应的位置标注，所述位置标注包括字符位于所属词的开头、字符位于所属词的中间位置、字符位于所属词的末尾和字符单独成词；

根据所述概率，分别确定所述文本中各字符所属的词中位置标注状态；

根据所述文本中各字符所属的词中位置标注状态，确定所述各字符在所属的词中的位置；

在所述文本中，从在所属的词中的位置为词首的字符起，到最近的在所属的词中的位置为词尾的字符止，切分出词，以及在所述文本中，将在所属的词中的位置为词中独占位置的字符切分为词。

2.根据权利要求1所述的方法，其特征在于，所述将所述文本中的字符分别转化为相应的字向量，包括：

获取所述文本中每个字符相应的多维度的字符特征；所述多维度的字符特征表征相应的字符与所述文本中其余字符之间的相似度；

根据所述文本中每个字符相应的多维度的字符特征，构建所述每个字符相应的字向量。

3.根据权利要求1所述的方法，其特征在于，所述按照所述字向量相应的字符在所述文本中的顺序，依次计算每个字向量所对应字符属于预设的各词中位置标注状态的第一概率，包括：

按照所述字向量相应的字符在所述文本中的顺序，分别将各个字向量作为所述机器学习模型的前向传播隐藏层当前处理的字向量；

在当前处理的字向量对应所述文本中的首字符时，根据当前处理的字向量得到相应字符属于预设的各词中位置标注状态的第一概率；

在当前处理的字向量未对应所述首字符时，根据当前处理的字向量及前次处理的字向量对应的第一概率，得到当前处理的字向量相应字符属于预设的各词中位置标注状态的第一概率。

4.根据权利要求1所述的方法，其特征在于，所述按照所述字向量相应的字符在所述文本中的逆序，依次计算每个字向量所对应字符属于预设的各词中位置标注状态的第二概率，包括：

按照所述字向量相应的字符在所述文本中的逆序，分别将各个字向量分别作为所述机器学习模型的反向传播隐藏层当前处理的字向量；

在当前处理的字向量对应所述文本的末尾字符时，根据当前处理的字向量得到相应字符属于预设的各词中位置标注状态的第二概率；

在当前处理的字向量未对应所述末尾字符时，根据当前处理的字向量及前次处理的字向量对应的第二概率，得到当前处理的字向量相应字符在各个位置状态下的第二概率。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标语料；

将所述目标语料中的字符分别转换为相应的训练字向量；

将所述训练字向量输入基于神经网络的机器学习模型，获得所述训练字向量所对应字符属于预设的各词中位置标注状态的概率；

根据所述训练字向量所对应字符属于预设的各词中位置标注状态的概率，分别确定所述目标语料中各字符所属的词中位置标注状态；

按照所述目标语料中各字符所属的词中位置标注状态对所述目标语料进行分词，得到预测分词结果；

依据所述预测分词结果与所述目标语料的基准分词结果之间的差异，调整所述机器学习模型的模型参数，继续训练直至所述差异符合预设条件。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过预训练分词模型对所述目标语料进行分词，得到相应的词序列；

将所述词序列进行校正，得到所述目标语料的基准分词结果。