[发明专利]智能客服知识库模型训练方法、装置及电子设备在审
申请号: | 202110852471.5 | 申请日: | 2021-07-27 |
公开(公告)号: | CN113569028A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 胡冰;侯玥;王亚利;刘志强;申建淳;王继超 | 申请(专利权)人: | 北京政信1890智能科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36;G06F40/35;G06K9/62 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 荣颖佳 |
地址: | 100000 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 智能 客服 知识库 模型 训练 方法 装置 电子设备 | ||
本申请提供了一种智能客服知识库模型训练方法、装置及电子设备,其中,方法包括:获取目标业务领域的高频问答数据,以使工作人员根据高频问答数据绘制问答流程图;基于问答流程图,生成会话片段,以使工作人员对会话片段进行测试;根据工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库;基于测试好的会话片段、闲聊库和问答库,进行整体测试,得到初始知识库模型;应用预先获取的知识测试集和知识训练集,分别对初始知识库模型进行验证和训练,得到最终的智能客服知识库模型。本申请能够客观分析实际业务的高频问题,形成多轮会话场景,将提取的知识形成动态知识库体系,能快速更新优化。
技术领域
本申请涉及智能客服技术领域,尤其是涉及一种智能客服知识库模型训练方法、装置及电子设备。
背景技术
目前,智能客服使用的知识库,其生成方式依赖于业务坐席的经验,具体生成过程为:根据业务坐席在实际工作中与客户的问答经验,提取出相关的高频问题和答复,形成供智能客服使用的知识库。这种方式存在以下缺点:高频问题和答复依赖业务坐席的经验,主观性较强;提取的知识基本都是单一问答问题,无法形成多轮会话场景;而且问答知识形成后,为静态的知识库,无法进行快速更新优化。
发明内容
本申请的目的在于提供一种智能客服知识库模型训练方法、装置及电子设备,能够客观分析实际业务的高频问题,将提取的知识形成知识库体系,能形成多轮会话场景,使问答知识形成有效闭环成为动态知识库,便于进行快速更新优化。
第一方面,本申请实施例提供一种智能客服知识库模型训练方法,该方法包括:获取目标业务领域的高频问答数据,以使工作人员根据高频问答数据绘制问答流程图;基于问答流程图,生成会话片段,以使工作人员对会话片段进行测试;根据工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库;基于测试好的会话片段、闲聊库和问答库,进行整体测试,得到初始知识库模型;应用预先获取的知识测试集和知识训练集,分别对初始知识库模型进行验证和训练,得到最终的智能客服知识库模型;上述知识测试集和知识训练集中的样本均是从高频问答数据中划分出来的。
在可选的实施方式中,上述获取目标业务领域的高频问答数据的步骤,包括:判断是否存在目标业务领域对应的历史业务数据;如果是,根据历史业务数据进行数据分类,得到目标业务领域的高频问答数据;如果否,通过爬虫技术从互联网上获取目标业务领域的高频问答数据。
在可选的实施方式中,上述问答流程图包括多个节点;基于问答流程图,生成会话片段的步骤,包括:提供流程节点的配置操作页面;响应针对配置操作页面中,节点条件和节点模块的配置操作,根据配置的节点条件和节点模块,生成会话片段。
在可选的实施方式中,根据上述工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库的步骤,包括:提供信息添加页面;响应针对信息添加页面中,闲聊信息和问答信息的添加操作,生成闲聊库和问答库。
在可选的实施方式中,基于测试好的会话片段、闲聊库和问答库,进行整体测试,得到初始知识库模型的步骤,包括:提供BOT测试页面;响应针对BOT测试页面中的测试选项的第一操作,对会话片段、闲聊库和问答库进行整体测试,得到初始知识库模型。应用预先获取的知识训练集和知识测试集,分别对初始知识库模型进行训练和验证,得到最终的智能客服知识库模型的步骤,包括:
在可选的实施方式中,基于上述知识测试集对初始知识库模型进行验证,计算初始知识库模型对应的评价指标;评价指标包括测试准确率和/或单个意图召回率;如果评价指标达到预设阈值,将初始知识库模型作为最终的智能客服知识库模型;如果评价指标未达到预设阈值,利用知识训练集中的样本对初始知识库模型进行训练,得到最终的智能客服知识库模型。
在可选的实施方式中,在基于上述知识测试集对初始知识库模型进行验证的步骤之后,上述方法还包括:如果知识测试集对应的测试结果中出现意图纠缠问题;针对出现问题的测试样本中的问题进行语义分析,以根据分析结果确定出现问题的原因。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京政信1890智能科技有限公司,未经北京政信1890智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110852471.5/2.html,转载请声明来源钻瓜专利网。