[发明专利]智能客服知识库模型训练方法、装置及电子设备在审
申请号: | 202110852471.5 | 申请日: | 2021-07-27 |
公开(公告)号: | CN113569028A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 胡冰;侯玥;王亚利;刘志强;申建淳;王继超 | 申请(专利权)人: | 北京政信1890智能科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36;G06F40/35;G06K9/62 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 荣颖佳 |
地址: | 100000 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 智能 客服 知识库 模型 训练 方法 装置 电子设备 | ||
1.一种智能客服知识库模型训练方法,其特征在于,所述方法包括:
获取目标业务领域的高频问答数据,以使工作人员根据高频问答数据绘制问答流程图;
基于所述问答流程图,生成会话片段,以使所述工作人员对所述会话片段进行测试;
根据所述工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库;
基于测试好的所述会话片段、所述闲聊库和所述问答库,进行整体测试,得到初始知识库模型;
应用预先获取的知识测试集和知识训练集,分别对所述初始知识库模型进行验证和训练,得到最终的智能客服知识库模型;所述知识测试集和知识训练集中的样本均是从所述高频问答数据中划分出来的。
2.根据权利要求1所述的方法,其特征在于,获取目标业务领域的高频问答数据的步骤,包括:
判断是否存在所述目标业务领域对应的历史业务数据;
如果是,根据所述历史业务数据进行数据分类,得到所述目标业务领域的高频问答数据;
如果否,通过爬虫技术从互联网上获取所述目标业务领域的高频问答数据。
3.根据权利要求1所述的方法,其特征在于,所述问答流程图包括多个节点;基于所述问答流程图,生成会话片段的步骤,包括:
提供流程节点的配置操作页面;
响应针对所述配置操作页面中,节点条件和节点模块的配置操作,根据配置的节点条件和节点模块,生成所述会话片段。
4.根据权利要求1所述的方法,其特征在于,根据所述工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库的步骤,包括:
提供信息添加页面;
响应针对所述信息添加页面中,闲聊信息和问答信息的添加操作,生成闲聊库和问答库。
5.根据权利要求1所述的方法,其特征在于,基于测试好的所述会话片段、所述闲聊库和所述问答库,进行整体测试,得到初始知识库模型的步骤,包括:
提供BOT测试页面;
响应针对所述BOT测试页面中的测试选项的第一操作,对所述会话片段、所述闲聊库和所述问答库进行整体测试,得到初始知识库模型。
6.根据权利要求1所述的方法,其特征在于,应用预先获取的知识训练集和知识测试集,分别对所述初始知识库模型进行训练和验证,得到最终的智能客服知识库模型的步骤,包括:
基于所述知识测试集对所述初始知识库模型进行验证,计算所述初始知识库模型对应的评价指标;所述评价指标包括测试准确率和/或单个意图召回率;
如果所述评价指标达到预设阈值,将所述初始知识库模型作为最终的智能客服知识库模型;
如果所述评价指标未达到预设阈值,利用所述知识训练集中的样本对所述初始知识库模型进行训练,得到最终的智能客服知识库模型。
7.根据权利要求6所述的方法,其特征在于,在基于所述知识测试集对所述初始知识库模型进行验证的步骤之后,所述方法还包括:
如果所述知识测试集对应的测试结果中出现意图纠缠问题;
针对出现问题的测试样本中的问题进行语义分析,以根据分析结果确定出现问题的原因。
8.一种智能客服知识库模型训练装置,其特征在于,所述装置包括:
数据获取模块,用于获取目标业务领域的高频问答数据,以使工作人员根据高频问答数据绘制问答流程图;
会话片段生成模块,用于基于所述问答流程图,生成会话片段,以使所述工作人员对所述会话片段进行测试;
知识库生成模块,用于根据所述工作人员添加的闲聊信息和问答信息,生成闲聊库和问答库;
初始模型生成模块,用于基于测试好的所述会话片段、所述闲聊库和所述问答库,进行整体测试,得到初始知识库模型;
模型训练验证模块,用于应用预先获取的知识训练集和知识测试集,分别对所述初始知识库模型进行训练和验证,得到最终的智能客服知识库模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京政信1890智能科技有限公司,未经北京政信1890智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110852471.5/1.html,转载请声明来源钻瓜专利网。