[发明专利]一种数据的处理方法、装置以及存储介质有效

专利信息
申请号: 202310708207.3 申请日: 2023-06-15
公开(公告)号: CN116450808B 公开(公告)日: 2023-09-19
发明(设计)人: 刘威;蒋杰;郜思睿;李宗蔚;杨志鹏;郭春超 申请(专利权)人: 腾讯科技(深圳)有限公司
主分类号: G06F16/335 分类号: G06F16/335;G06F16/338;G06F16/35;G06F16/532
代理公司: 深圳市深佳知识产权代理事务所(普通合伙) 44285 代理人: 闵晶晶
地址: 518057 广东省深圳*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 处理 方法 装置 以及 存储 介质
【说明书】:

本申请公开了一种数据的处理方法、装置以及存储介质。通过获取坏例样本;然后根据坏例样本生成样本三元组;并对推荐模型的主干网络进行参数冻结;然后对推荐模型中配置的投影矩阵进行训练得到目标矩阵;进而获取推荐模型的主干网络根据目标内容输出的特征向量,以基于特征向量和目标矩阵确定输出特征,并执行推荐任务。从而实现推荐模型基于坏例样本进行快速调整的过程,由于对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。

技术领域

本申请涉及计算机技术领域,尤其涉及一种数据的处理方法、装置以及存储介质。

背景技术

随着深度学习算法技术的演进,模型训练优化的迭代时间成本、算力消耗成本也显著提高,而实际应用场景中、难免会发现产生新的坏例(badcase)样本是现有模型能力所不能覆盖的,为此如何迭代优化出适配于badcase的模型版本,成为一个亟待解决的问题。

一般,可以模型原有训练数据集的基础上,通过正负匹配样本对的扩充,对模型进行重训练。

但是,由于重训练的过程对应的训练数据规模庞大、且会不断增加,会浪费较大的算力资源和时间资源,影响训练优化的效率。

发明内容

有鉴于此,本申请提供一种数据的处理方法,可以有效提高训练优化的效率。

本申请第一方面提供一种数据的处理方法,可以应用于终端设备中包含数据的处理功能的系统或程序中,具体包括:

获取推荐模型在执行推荐任务时指示的坏例样本;

根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;

对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;

根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;

响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。

可选的,在本申请一些可能的实现方式中,所述根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵,包括:

将所述样本三元组中的样本输入所述推荐模型中的主干网络,以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量;

确定所述第一向量和所述第二向量之间的正向距离,以及所述第一向量和所述第三向量之间的反向距离;

将所述正向距离和所述反向距离作为距离参数,配置所述投影矩阵对应的距离损失函数;

获取所述投影矩阵对应的训练目标,所述训练目标用于指示通过减小所述正向距离,并增大所述反向距离,将所述第一向量指示的排序位置调整到预设位置;

基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目标矩阵。

可选的,在本申请一些可能的实现方式中,所述通过减小所述第一向量和所述第二向量之间的距离,并增大所述第一向量和所述第三向量之间的距离配置距离损失函数,包括:

获取针对于所述样本三元组配置的边缘项;

基于所述边缘项对正向距离和反向距离之间的差值进行约束,以配置所述距离损失函数,所述正向距离为所述第一向量和所述第二向量之间的距离,所述反向距离为所述第一向量和所述第三向量之间的距离。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310708207.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top