[发明专利]基于改进XGBoost算法的意图识别方法及装置有效
申请号: | 201910487948.7 | 申请日: | 2019-06-05 |
公开(公告)号: | CN110222339B | 公开(公告)日: | 2023-04-28 |
发明(设计)人: | 姜伟敏 | 申请(专利权)人: | 深圳市思迪信息技术股份有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/289;G06F16/35 |
代理公司: | 深圳市欣亚知识产权代理事务所(普通合伙) 44621 | 代理人: | 葛勤;程光慧 |
地址: | 518000 广东省深圳市南山区粤海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 改进 xgboost 算法 意图 识别 方法 装置 | ||
1.一种基于改进XGBoost算法的意图识别方法,其特征在于:包括以下步骤,
S10、通过自定义词库对原始文本数据进行分词,分词结果通过停用词词库进行过滤,得到初始化数据;
S20、对Scikit-learn算法中的CountVectorizer函数和TfidfVectorizer函数通过输入初始化数据进行训练;
S30、将训练后的特征函数countVectorizer和tfidfVectorizer进行本地化存储,形成本地中间件,保留文本数据特征间相互关联关系,形成XGBoost模型初始数据;
S40、将XGBoost模型初始数据,经过XGBoost模型中梯度增强算法进行模型训练,得到基于XGBoost与Scikit-learn算法意图识别模型;
S50、将训练后的XGBoost模型进行本地化存储;
S60、基于XGBoost与Scikit-learn算法意图识别模型,对用户输入的语句进行意图识别:
S61、待对用户输入语句时,对用户输入语句进行初始化操作;
S62、加载特征函数countVectorizer和tfidfVectorizer中间件,对用户输入语句进行特征处理;
S63、通过加载训练过的XGBoost模型,计算出用户输入语句的分类类别,实现用户意图识别分析。
2.如权利要求1所述的基于改进XGBoost算法的意图识别方法,其特征在于:所述步骤S20具体包括,
S21、通过Scikit-learn算法中的CountVectorizer函数将初始化数据转换词频矩阵;
S22、词频矩阵通过TfidfVectorizer函数计算出每个短语权重分值。
3.如权利要求1所述的基于改进XGBoost算法的意图识别方法,其特征在于:所述步骤S40具体包括,将XGBoost模型初始数据,经过XGBoost模型中梯度增强算法进行模型训练,通过收缩比例因子新增加权重防止过拟合情况,训练直至达到损失函数条件,终止模型训练,得到基于XGBoost与Scikit-learn算法意图识别模型。
4.一种基于改进XGBoost算法的意图识别装置,其特征在于:包括以下模块,
数据初始化模块,用于通过自定义词库对原始文本数据进行分词,分词结果通过停用词词库进行过滤,得到初始化数据;
特征函数训练模块,用于对Scikit-learn算法中的CountVectorizer函数和TfidfVectorizer函数通过输入初始化数据进行训练;
特征函数存储模块,用于将训练后的特征函数countVectorizer和tfidfVectorizer进行本地化存储,形成本地中间件,保留文本数据特征间相互关联关系,形成XGBoost模型初始数据;
XGBoost算法优化模块,用于将XGBoost模型初始数据,经过XGBoost模型中梯度增强算法进行模型训练,得到基于XGBoost与Scikit-learn算法意图识别模型;
XGBoost模型存储模块,用于将训练后的XGBoost模型进行本地化存储;
用户意图识别模块,用于基于XGBoost与Scikit-learn算法意图识别模型,对用户输入的语句进行意图识别;
所述用户意图识别模块具体包括,
用户输入语句初始化单元,用于待对用户输入语句时,对用户输入语句进行初始化操作;
用户输入语句进行特征处理单元,用于加载特征函数countVectorizer和tfidfVectorizer中间件,对用户输入语句进行特征处理;
用户输入语句分类单元,用于通过加载训练过的XGBoost模型,计算出用户输入语句的分类类别,实现用户意图识别分析。
5.如权利要求4所述的基于改进XGBoost算法的意图识别装置,其特征在于:所述特征函数训练模块包括,
数据转换单元,用于通过Scikit-learn算法中的CountVectorizer函数将初始化数据转换词频矩阵;
短语权重计算单元,用于词频矩阵通过TfidfVectorizer函数计算出每个短语权重分值,形成XGBoost模型初始数据。
6.如权利要求4所述的基于改进XGBoost算法的意图识别装置,其特征在于:所述XGBoost算法优化模块具体用于,将XGBoost模型初始数据,经过XGBoost模型中梯度增强算法进行模型训练,通过收缩比例因子新增加权重防止过拟合情况,训练直至达到损失函数条件,终止模型训练,得到基于XGBoost与Scikit-learn算法意图识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市思迪信息技术股份有限公司,未经深圳市思迪信息技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910487948.7/1.html,转载请声明来源钻瓜专利网。