[发明专利]一种针对于预估模型的数据处理方法及装置在审
申请号: | 201510564920.0 | 申请日: | 2015-09-08 |
公开(公告)号: | CN105224998A | 公开(公告)日: | 2016-01-06 |
发明(设计)人: | 马越 | 申请(专利权)人: | 北京金山安全软件有限公司 |
主分类号: | G06Q10/04 | 分类号: | G06Q10/04;G06Q30/02 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孙翠贤;马敬 |
地址: | 100085 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 针对 预估 模型 数据处理 方法 装置 | ||
技术领域
本发明涉及预估模型训练技术领域,特别是涉及一种针对于预估模型的数据处理方法及装置。
背景技术
现有技术中,预估模型是常用的一种模型,能够为数据应用提供针对性的参考信息,例如:作为预估模型的广告点击率预估模型能够为广告投放提供针对性的参考信息。在预估模型的每次训练时,需要利用到基于上次模型训练的输出数据所形成的历史特征信息和基于本次训练所对应数据采集时间段内的用户操作所生成的用户日志数据,其中,历史特征信息中包括多组特征描述信息,特征描述信息与特征一一对应,每一特征描述信息中包括特征名和训练所得的特征值;具体训练过程为:从用户日志数据中所需的目标特征的目标特征名,并且,构建每一目标特征各自所对应的特征描述信息,其中,每一目标特征所对应的特征描述信息包括目标特征名和默认特征值,每一目标特征所对应的默认特征值均相同;进而,将历史特征信息中的多组特征描述信息和目标特征所对应的特征描述信息作为该广告点击率预估模型的输入数据进行训练,得到输出数据。其中,历史特征信息中的特征描述信息所涉及的特征和目标特征通常存在相同的。
对于预估模型而言,由于每次训练会增加新的特征,累积到一定数量,训练数据的数据量将过大,导致训练时无法一次性读入到内存,因此,为了避免数据量过大,所使用的历史特征信息所涉及的时段有限,不能无限累积,但是,这样会带来特征缺少,使得所训练的预估模型的精准性受到影响。
发明内容
本发明实施例的目的在于提供一种针对于预估模型的数据处理方法及装置,以在降低训练数据的数据量大小的同时保证特征的完整,从而保证所训练预估模型的精准性。具体技术方案如下:
第一方面,本发明实施例提供了一种针对于预估模型的数据处理方法,包括:
获得从用户日志数据中提取的多个目标特征的目标特征名,其中,所述用户日志数据为基于本次训练所对应数据采集时间段内的用户操作所生成的日志数据;
获得历史特征信息,其中,所述历史特征信息为预先保存的且基于上一次训练所述预估模型所得的输出数据所生成;
对所述目标特征名和所述历史特征信息进行累加处理,得到待利用的多组特征描述信息,其中,所述待利用的多组特征描述信息中的特征名各不相同且特征值基于所述历史特征信息确定;
将所述待利用的多组特征描述信息作为输入数据对所述预估模型进行训练,得到作为输出数据的多组特征描述信息。
可选的,本发明实施例所提供的一种针对于预估模型的数据处理方法还包括:
基于作为输出数据的多组特征描述信息,按照预定更新方式更新所述历史特征信息;其中,所述预定更新方式包括:
分别判断作为输出数据的每一组特征描述信息中的特征名是否与所述历史特征信息所包括一组特征描述信息中的特征名相同,如果相同,将所述历史特征信息所包括该组特征描述信息中的特征值更新为作为输出数据的该组特征描述信息中的特征值,否则,在所述历史特征信息中增加作为输出数据的该组特征描述信息。
可选的,所述待利用的多组特征描述信息中的特征名均为目标特征名。
可选的,所述待利用的多组特征描述信息中的特征名包括目标特征名和所述历史特征信息所包括的特征描述信息中与所述目标特征名不同的特征名。
可选的,待利用的任意一组的特征描述信息中特征值的确定方式,包括:
如果待利用的当前组的特征描述信息中的特征名与所述历史特征信息所包括的一组特征描述信息中的特征名相同,则该当前组的特征描述信息中的特征值为所述历史特征信息中该组特征描述信息中的特征值;
如果待利用的当前组的特征描述信息中的特征名与所述历史特征信息所包括特征描述信息中的特征名均不相同,则该当前组的特征描述信息中的特征名所对应的特征值为默认值。
可选的,所述将所述待利用的多组特征描述信息作为输入数据对所述预估模型进行训练,得到作为输出数据的多组特征描述信息,包括:
确定训练所述预估模型所需的目标函数,其中,所述目标函数为:f(特征名,特征值)=训练后特征值;
基于待利用的多组特征描述信息和所述目标函数,得到所述多组特征描述信息中的特征名所对应的训练后特征值;
将所述待利用的多组特征描述信息中的特征名和相应训练后特征值构成作为输出数据的特征描述信息。
第二方面,本发明实施例提供了一种针对于预估模型的数据处理装置,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山安全软件有限公司,未经北京金山安全软件有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510564920.0/2.html,转载请声明来源钻瓜专利网。
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理