[发明专利]模型获取方法、用户处理方法、装置及电子设备在审
申请号: | 202110201867.3 | 申请日: | 2021-02-23 |
公开(公告)号: | CN113159101A | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 熊涛;江曼;洪星芸 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100083 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 获取 方法 用户 处理 装置 电子设备 | ||
1.一种模型获取方法,其特征在于,所述方法包括:
将训练数据输入待训练模型;所述训练数据包括样本用户对应的多种子训练数据,不同子训练数据对应不同的主题;
基于所述待训练模型中包括的第一自注意力层,根据各个所述子训练数据的特征表示,确定各个所述子训练数据对应的主题权重;
根据各个所述子训练数据的特征表示以及对应的主题权重,获取所述训练数据的特征表示;
根据所述训练数据的特征表示对所述待训练模型进行训练,以获取用户处理模型。
2.根据要求1所述的方法,其特征在于,所述方法还包括:
确定各个所述子训练数据的数据生成时刻距离当前时刻的目标时长;
根据各个所述子训练数据的目标时长,确定各个所述子训练数据的新鲜度权重;其中,所述新鲜度权重与所述目标时长正相关;
所述根据各个所述子训练数据的特征表示以及对应的主题权重,获取所述训练数据的特征表示,包括:
根据各个所述子训练数据的特征表示、对应的主题权重以及新鲜度权重,获取所述训练数据的特征表示。
3.根据要求2所述的方法,其特征在于,所述待训练模型中还包括第二自注意力层;所述根据各个所述子训练数据的目标时长,确定各个所述子训练数据的新鲜度权重,包括:
对于任一所述子训练数据,利用所述第二自注意力层,将所述目标时长作为预设新鲜度权重公式的输入,并将所述预设新鲜度权重公式的输出作为所述子训练数据的新鲜度权重;
其中,所述预设新鲜度权重公式中包括目标系数,所述目标系数为所述第二自注意力层中的参数。
4.根据要求2所述的方法,其特征在于,所述根据各个所述子训练数据的特征表示、对应的主题权重以及新鲜度权重,获取所述训练数据的特征表示,包括:
对于任一所述子训练数据,计算所述子训练数据的特征表示与所述子训练数据对应的主题权重之间的第一乘积;
计算所述第一乘积与所述子训练数据的新鲜度权重之间的第二乘积;
对各个所述子训练数据的第二乘积进行拼接,得到所述训练数据的特征表示。
5.根据要求1所述的方法,其特征在于,所述待训练模型还包括全连接层;所述根据各个所述子训练数据的特征表示以及对应的主题权重,获取所述训练数据的特征表示之前,所述方法还包括:
对任一所述样本用户的各个所述子训练数据进行向量化,以获取各个所述子训练数据的初始特征表示;
利用所述全连接层将各个所述子训练数据的初始特征表示映射至指定维数,得到各个所述子训练数据的特征表示。
6.根据要求1至5任一所述的方法,其特征在于,所述基于所述待训练模型中包括的第一自注意力层,根据各个所述子训练数据的特征表示,确定各个所述子训练数据对应的主题权重,包括:
对于任一所述子训练数据,基于所述第一自注意力层确定所述特征表示中各维特征对应的自注意力权重;
根据各维特征以及各维特征对应的自注意力权重,计算所述子训练数据对应的特征加权和;
根据各个所述子训练数据对应的特征加权和,确定各个所述子训练数据对应的主题权重。
7.根据要求6所述的方法,其特征在于,所述待训练模型还包括softmax层;所述根据各个所述子训练数据对应的特征加权和,确定各个所述子训练数据对应的主题权重,包括:
将各个所述子训练数据对应的特征加权和输入所述softmax层,利用所述softmax层确定各个所述子训练数据对应的归一化处理值;
将各个所述子训练数据对应的归一化处理值,确定为各个所述子训练数据对应的主题权重。
8.根据要求7所述的方法,其特征在于,所述自注意力权重为所述第一自注意力层中的参数;所述根据所述训练数据的特征表示对所述待训练模型进行训练,包括:
对所述训练数据的特征表示进行处理,以获取所述待训练模型的输出;
基于所述待训练模型的输出,对所述待训练模型中的模型参数进行调整,以使所述待训练模型收敛;其中,所述模型参数包括所述待训练模型包括的各层中的参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110201867.3/1.html,转载请声明来源钻瓜专利网。