[发明专利]一种数据处理方法以及装置在审
申请号: | 202011391497.6 | 申请日: | 2020-12-02 |
公开(公告)号: | CN112529151A | 公开(公告)日: | 2021-03-19 |
发明(设计)人: | 郭慧丰;陈渤;唐睿明;李震国;何秀强 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 陈松浩 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 以及 装置 | ||
1.一种数据处理方法,其特征在于,包括:
获取连续特征;
利用离散化模型对所述连续特征进行离散化处理得到所述连续特征对应的N个离散化概率值,所述N为大于1的整数;
所述N个离散化概率值对应于预设的N个基向量表达值;
根据所述N个离散化概率值和所述N个基向量表达值确定所述连续特征的一个向量表达值。
2.根据权利要求1所述的方法,其特征在于,所述利用离散化模型对所述连续特征进行离散化处理得到所述连续特征对应的N个离散化概率值包括:
预设所述离散化模型中初始变量;
根据所述初始变量确定所述连续特征对应的N个映射值;
根据所述映射值计算得到所述连续特征的N个离散化概率。
3.根据权利要求1或2所述的方法,其特征在于,所述离散化模型为多分类神经网络、注意力网络或线性映射和softmax。
4.根据权利要求3所述的方法,其特征在于,在所述离散化模型为线性映射和softmax时,所述预设所述离散化模型中初始变量包括:包括:
预设初始化线性映射变量为:Wlogit=R1×h,所述初始化线性映射变量为所述初始变量;
所述根据所述N确定所述连续特征对应的N个映射值包括:
通过线性映射公式确定所述连续特征对应的N个映射值,
其中,所述线性映射公式为:contlogit=cont·Wlogit;
根据所述映射值计算得到所述连续特征的N个离散化概率值包括:
根据离散化公式计算所述N个映射值中每一个映射值对应的概率值得到N个概率值,其中所述离散化公式为:所述N个概率值作为所述N个离散化概率;
其中,所述Wlogit用于指示线性映射变量,所述R用于指示实数域,所述h用于指示所述连续特征离散化后的桶数,所述h等于所述N,所述contlogit用于指示所述连续特征线性映射后的表达,所述cont_pk用于指示所述连续特征离散化到第k个桶的概率值,所述指示所述连续特征线性映射后第k个神经元输出,所述τ用于指示softmax的温度控制系数,所述用于指示所述连续特征线性映射后第i个神经元输出。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述N个离散化概率值和N个基向量表达值确定所述连续特征的一个向量表达值包括:
利用所述聚合函数根据所述N个离散化概率值和N个基向量表达值确定所述连续特征的一个向量表达值,其中,所述聚合函数为Max-Pooling、Top-K-Sum或Weighted-Average。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
将用户特征和对象特征输入推荐模型或搜索模型得到预测结果;
所述用户特征或所述对象特征中包括所述向量表达值;
所述用户特征或所述待推荐对象特征采用所述向量表达值表示所述连续特征。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
获取实际结果;
根据所述预测结果和所述实际结果利用损失函数调整所述离散化模型的权重参数。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述N的取值大于等于20且小于等于100。
9.根据权利要求1至8中任一项所述的方法,所述连续特征为样本数据中具有连续统计特征值的特征数据。
10.根据权利要求9所述的方法,其特征在于,所述连续特征包括但不限于推荐系统中年龄特征、点击量特征和分数特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011391497.6/1.html,转载请声明来源钻瓜专利网。