[发明专利]语料筛选方法、意图识别模型优化方法、设备及存储介质

说明书

本申请实施例提供语料筛选方法、意图识别模型优化方法、设备及存储介质，涉及人工智能技术领域。包括：获取字典文件和线上用户语料；对所述线上用户语料进行滑窗切分得到字符片段；根据所述字典文件对所述字符片段进行匹配计算，得到各个所述字符片段的不通顺分数；将对应所述线上用户语料字段长度的若干个不通顺分数进行加权计算得到加权分数；对所述加权分数超过预设阈值的所述线上用户语料进行聚类得到高频语料；对所述高频语料进行标注，得到用于优化智能客服系统意图识别模型的新训练语料。能够通过定期对智能客服系统和客户对话日志中客户表达文本的处理，筛选出现频率较高的新式表达，能及时地使智能客服系统对客户的需求做出合理的反馈。

技术领域

本申请实施例涉及人工智能技术领域，尤其涉及语料筛选方法、意图识别模型优化方法、设备及存储介质。

背景技术

智能客服系统是基于人工智能为顾客提供和企业所售卖的产品或者服务相关的信息的计算机软件系统。其主要的功能是识别客户的意图，然后给出相应的回复，解决客户的问题。作为智能客服系统的核心模块，意图识别功能的底层实现一般是基于语料直接构建或者通过机器学习方法训练得到的检索或分类模型。这意味着智能客服系统的意图识别效果在很大程度上取决于其所使用的语料的质量。特别是对于语料中没有出现过的表达，目前的智能客服系统难以有效的识别。为了达到有效识别的目的，传统的做法是由企业当中的业务方提出更新智能客服系统的需求，并提供相应的和新业务相关的语料，开发方更新语料后重新训练意图识别模型以实现对新语料的识别。但现实情况中，这样的做法存在诸多弊端。一方面，企业的产品常常处于快速的迭代当中，新产品、新活动等层出不穷，业务方的人力物力有限，很难保证每一次推出新业务时，都能够及时主动地提出更新智能客服系统的需求。另一方面，客户的客服需求规模往往也取决于产品的热度、功能完善度等多个方面的因素，对于市场热度较小、客户反应较少的业务，对更新智能客服系统的迫切性就较低，而无差别地预先针对每次业务变动都更新智能客服系统，反而是对企业人力和物力的一种浪费。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

本申请实施例提供语料筛选方法、意图识别模型优化方法，能够通过定期对智能客服系统和客户对话日志中客户表达文本的处理，筛选出现频率较高的新式表达，这些新式表达往往就反映了客户对公司所提供的业务的最新客服需求，将这些新式表达，作为语料加入当前训练语料中重新训练意图识别模型，能及时地使智能客服系统对客户的需求做出合理的反馈，同时有效减少因频繁更新智能客服系统导致的人力和物力的浪费。

第一方面，本申请实施例提供一种语料筛选方法，包括：

获取字典文件和线上用户语料；

对所述线上用户语料进行滑窗切分得到字符片段；

根据所述字典文件对所述字符片段进行匹配计算，得到各个所述字符片段的不通顺分数；

将对应所述线上用户语料字段长度的若干个不通顺分数进行加权计算得到加权分数；

对所述加权分数超过预设阈值的所述线上用户语料进行聚类得到高频语料；

对所述高频语料进行标注，得到用于优化智能客服系统意图识别模型的新训练语料。

在一些可选的实施方式中，在所述对所述线上用户语料进行滑窗切分得到字符片段之前，还包括：

对每一条所述线上用户语料作字符去重和停用词过滤处理。

在一些可选的实施方式中，所述线上用户语料包括线上对话日志中智能客服系统识别错误或无法识别的用户语料。

在一些可选的实施方式中，所述对所述线上用户语料进行滑窗切分得到字符片段，包括：