[发明专利]文本分词、即时消息处理方法和装置

说明书

本申请涉及一种文本分词、即时消息处理方法和装置，该文本分词方法包括：获取待分词的文本；将文本中的字符分别转化为相应的字向量；将字向量输入基于神经网络的机器学习模型，获得字向量所对应字符属于预设的各词中位置标注状态的概率；根据概率，分别确定文本中各字符所属的词中位置标注状态；按照文本中各字符所属的词中位置标注状态对文本进行分词。本申请提供的方案提高了对文本进行分词的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种文本分词、即时消息处理方法和装置、存储介质和计算机设备。

背景技术

随着计算机技术的发展，网络上出现的文本数量与日俱增，比如电子邮件、实时新闻、科技博文等等，因此，对这些文本进行处理以获得所需要的信息的需求日益迫切。

分词作为自然语言处理领域中的基础步骤，在自然语言处理中扮演着重要的角色。目前，文本分词算法一般是采用模板匹配的方式，比如基于文本匹配的分词算法、基于词典的分词算法等等，分词准确性完全依赖于模板，导致分词准确率较低。

发明内容

基于此，有必要针对现有的文本分词算法分词准确率较低的技术问题，提供一种文本分词、即时消息处理方法、装置、存储介质和计算机设备。

一种文本分词方法，包括：

获取待分词的文本；

将所述文本中的字符分别转化为相应的字向量；

将所述字向量输入基于神经网络的机器学习模型，获得所述字向量所对应字符属于预设的各词中位置标注状态的概率；

根据所述概率，分别确定所述文本中各字符所属的词中位置标注状态；

按照所述文本中各字符所属的词中位置标注状态对所述文本进行分词。

一种文本分词装置，包括：

文本获取模块，用于获取待分词的文本；

字向量生成模块，用于将所述文本中的字符分别转化为相应的字向量；

概率获取模块，用于将所述字向量输入基于神经网络的机器学习模型，获得所述字向量所对应字符属于预设的各词中位置标注状态的概率；

词中位置标注状态确定模块，用于根据所述概率，分别确定所述文本中各字符所属的词中位置标注状态；

分词模块，用于按照所述文本中各字符所属的词中位置标注状态对所述文本进行分词。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取待分词的文本；

将所述文本中的字符分别转化为相应的字向量；

将所述字向量输入基于神经网络的机器学习模型，获得所述字向量所对应字符属于预设的各词中位置标注状态的概率；

根据所述概率，分别确定所述文本中各字符所属的词中位置标注状态；

按照所述文本中各字符所属的词中位置标注状态对所述文本进行分词。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取待分词的文本；

将所述文本中的字符分别转化为相应的字向量；

将所述字向量输入基于神经网络的机器学习模型，获得所述字向量所对应字符属于预设的各词中位置标注状态的概率；

根据所述概率，分别确定所述文本中各字符所属的词中位置标注状态；