[发明专利]货运语料意图分类模型的训练方法、装置、设备及介质在审
申请号: | 202211295204.3 | 申请日: | 2022-10-21 |
公开(公告)号: | CN115687584A | 公开(公告)日: | 2023-02-03 |
发明(设计)人: | 闫晚丰;张治宇;蒋志强;周炜星;杨毓丞 | 申请(专利权)人: | 上海运柚科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F40/289;G06F40/30;G06N3/0464;G06N3/08 |
代理公司: | 广东京大方元专利代理有限公司 44872 | 代理人: | 徐莉娜 |
地址: | 200082 上海市杨浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 货运 语料 意图 分类 模型 训练 方法 装置 设备 介质 | ||
1.一种货运语料意图分类模型的训练方法,其特征在于,所述货运语料意图分类模型的训练方法包括:
响应于接收到模型训练请求,获取预置的货运语料训练集,其中,所述货运语料训练集中包括多条货运语料样本和每条货运语料样本对应的意图类别;
根据每条货运语料样本对应的意图类别,对每条货运语料样本进行数据标注;
对所述货运语料训练集中的每条货运语料样本执行预处理,得到多条目标货运语料样本;
对每条目标货运语料样本执行向量表达,得到每条目标货运语料样本对应的初始句向量;
构建TextCNN网络模型,并初始化所述TextCNN网络模型的网络参数;
依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中执行多分类训练,得到货运语料意图分类模型。
2.根据权利要求1所述的货运语料意图分类模型的训练方法,其特征在于,所述对所述货运语料训练集中的每条货运语料样本执行预处理,得到多条目标货运语料样本包括:
对所述货运语料训练集中的每条初始货运语料样本执行分词处理;
去除分词处理后的每条初始货运语料样本中的停用词;
对去除停用词后的每条初始货运语料样本进行词干提取,得到多条目标货运语料样本。
3.根据权利要求1所述的货运语料意图分类模型的训练方法,其特征在于,每条目标货运语料样本为一个分词序列,每个分词序列中至少包括一个分词,所述对每条目标货运语料样本执行向量表达,得到每条目标货运语料样本对应的初始句向量包括:
获取与货运行业相关的词嵌套预训练模型,并将每条目标货运语料样本中的分词依次输入至所述词嵌套预训练模型中执行预训练,得到每条目标货运语料样本中各分词对应的词向量;
基于同一目标货运语料样本中各分词对应的词向量求和后计算平均值,得到每条目标货运语料样本对应的初始句向量。
4.根据权利要求1所述的货运语料意图分类模型的训练方法,其特征在于,所述TextCNN网络模型包括卷积层、池化层以及全连接层,所述依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中执行多分类训练,得到货运语料意图分类模型包括:
依次将每条目标货运语料样本对应的初始句向量输入至所述TextCNN网络模型中,调用所述卷积层对所输入的初始句向量进行卷积,并基于预置的激活函数对卷积结果进行激活,得到目标句向量;
调用所述池化层对所述目标句向量执行池化处理;
调用所述全连接层中的多分类器计算所述目标句向量对应的多分类概率分布,其中,所述多分类概率分布用于表示目标句向量与预置的多个意图类别标签之间的匹配概率,所述多个意图类别标签与数据标注的结果对应;
基于预置的损失函数计算所述多分类概率分布对应的损失值;
根据所述损失值调整所述TextCNN网络模型的网络参数,得到货运语料意图分类模型。
5.根据权利要求4所述的货运语料意图分类模型的训练方法,其特征在于,所述调用所述全连接层中的多分类器计算所述目标句向量对应的多分类概率分布包括:
调用所述全连接层中的多分类器,使用所述多分类器中与每个意图类别标签对应的概率密度矩阵分别与所述目标句向量进行点积运算,得到所述目标句向量与每个意图类别标签之间的初始分类得分;
基于预置的扩散函数对每个初始分类得分进行值扩散,得到所述目标句向量与每个意图类别标签之间的目标分类得分;
对每个目标分类得分执行归一化处理,得到所述目标句向量对应的多分类概率分布。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海运柚科技有限公司,未经上海运柚科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211295204.3/1.html,转载请声明来源钻瓜专利网。