[发明专利]基于人工智能的中文分词方法、装置、计算机设备及介质

说明书

本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的中文分词方法、装置、计算机设备及介质。该方法对获取的待分词文本按照正向和反向分别与词典进行匹配，得到正向分词结果和反向分词结果，在正向分词结果与反向分词结果不相同时，提取正向分词结果与反向分词结果中所有差异所在文本位置，将其所包含的文本作为二次分词文本，使用训练好的条件随机场模型对二次分词文本进行二次划分，得到二次分词结果，将反向分词结果或者正向分词结果中除二次分词文本外的一次分词结果与二次分词结果整合，得到待分词文本的分词结果，使用第一次分词可以提高分词的效率，使用第二次分词可以提高分词的准确率，从而既保证了效率又提高了准确率。

技术领域

本申请适用于人工智能技术领域，尤其涉及一种基于人工智能的中文分词方法、装置、计算机设备及介质。

背景技术

目前，智能客服系统主要包括语音识别、语义识别和语音合成三大部分。语义识别在智能客服系统中一般指以语音识别输出的文本结果为输入，对该输入进行中文分词、停用词去除和关键词拓展等基本的预处理后，进行主题提取，分析当前对话用户的意图，并以此来决策如何生成应答。由于中文的特殊性，词语之间不存在空格等分隔符，而后续对文本进行主题词发现、提取，文具相似度计算等操作大多建立在词语的基础上，故在此之前对语音识别输出的文本进行分词尤为重要。

常用的中文分词方法大致可分为基于字和基于词两类，由于字和词的处理单元不同，在最终的分词效果上各有优劣。例如，基于词的分词方法过度依赖词典和规则库，效率较高，但可移植性较差，且对于歧义词和未录入词识别能力较低等缺点；基于字的分词方法不仅考虑了文字词语出现的频率信息，同时还考虑上下文语境，具备较好的学习能力，但是训练周期较长，运营时计算量大，性能不如基于词的分词方法。因此，如何在保证中文分词效率的同时，提高分词的识别能力，以兼容中文分词的效率和准确率成为亟待解决的问题。

发明内容

有鉴于此，本申请实施例提供了一种基于人工智能的中文分词方法、装置、计算机设备及介质，以解决如何在保证中文分词效率的同时，提高分词的识别能力，以兼容中文分词的效率和准确率的问题。

第一方面，本申请实施例提供一种基于人工智能的中文分词方法，所述中文分词方法包括：

获取待分词文本，并按照正向将所述待分词文本与词典匹配，得到正向分词结果，按照反向将所述待分词文本与所述词典匹配，得到反向分词结果，所述正向为表征所述待分词文本的词序的方向，所述反向与所述正向相反；

若所述正向分词结果与所述反向分词结果不相同，则提取所述正向分词结果与所述反向分词结果中所有差异所在文本位置，将所有差异所在文本位置所包含的文本作为二次分词文本；

将所述二次分词文本输入训练好的条件随机场模型，输出所述二次分词文本对应的二次分词结果；

将所述反向分词结果或者所述正向分词结果中除所述二次分词文本外的一次分词结果与所述二次分词结果整合，得到所述待分词文本的分词结果。

第二方面，本申请实施例提供一种基于人工智能的中文分词装置，所述中文分词装置包括：

一次分词模块，用于获取待分词文本，并按照正向将所述待分词文本与词典匹配，得到正向分词结果，按照反向将所述待分词文本与所述词典匹配，得到反向分词结果，所述正向为表征所述待分词文本的词序的方向，所述反向与所述正向相反；

差异分析模块，用于若所述正向分词结果与所述反向分词结果不相同，则提取所述正向分词结果与所述反向分词结果中所有差异所在文本位置，将所有差异所在文本位置所包含的文本作为二次分词文本；

二次分词模块，用于将所述二次分词文本输入训练好的条件随机场模型，输出所述二次分词文本对应的二次分词结果；