[发明专利]一种训练数据的处理方法及装置

说明书

技术领域

本发明属于计算技术领域，尤其涉及一种训练数据的处理方法及装置。

背景技术

在用户浏览页面时，广告平台根据用户的网络浏览或搜索行为，以及页面的内容，预估所有备选广告的点击率，选择点击率预估值较高的广告进行优先投放，因此在线广告的点击率预估在广告投放过程中起着重要的作用。

目前业界主要使用简单线性模型如逻辑回归(LR，Logistic Regression)等进行广告点击率建模，模型求解过程简洁且较为迅速，可以在一定程度上防止对数据的过度拟合等。由于在训练数据训练以及广告点击率预估过程中，模型所使用到的特征数量繁多，名义空间范围大(通常可达到百亿级以上)且通常不是连续值，故LR模型一般使用哈希表的稀疏结构来进行存储。

通过哈希表来保存LR模型可以较方便地进行模型的训练与预测，但是由于哈希表是采用稀疏结构来存储，因此存储空间相对消耗较大，从而降低了模型的网络传输速度和模型训练更新的速度。

发明内容

本发明的目的在于提供一种训练数据的处理方法及装置，旨在减少了存储空间的消耗，提升模型的网络传输速度和模型训练更新的速度。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种训练数据的处理方法，其中包括：

获取训练数据，并确定所述训练数据的原始特征空间，所述原始特征空间为训练数据原始的特征数据存储结构；

对所述原始特征空间进行扫描统计，并根据统计结果建立全局索引；

根据所述全局索引将所述训练数据映射到实际特征空间，所述实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；

利用实际特征空间的训练数据进行模型训练。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种训练数据的处理装置，其中包括：

获取单元，用于获取训练数据，并确定所述训练数据的原始特征空间，所述原始特征空间为训练数据原始的特征数据存储结构；

索引建立单元，用于对所述原始特征空间进行扫描统计，并根据统计结果建立全局索引；

映射单元，用于根据所述全局索引将所述训练数据映射到实际特征空间，所述实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；

训练单元，用于利用实际特征空间的训练数据进行模型训练。

相对于现有技术，本实施例，通过全局索引，将原始特征空间的训练数据，映射到实际特征空间，其中实际特征空间是根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构，其后利用实际特征空间的训练数据进行模型训练；本发明实施例，通过全局索引将训练数据做一次映射，将稀疏的存储结构转换为稠密的存储结构，不仅大大的减少了存储空间的消耗，还提升了模型的网络传输速度和模型训练更新的速度。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1a是本发明提供的训练数据的处理方法的场景示意图；

图1b是本发明第一实施例提供的训练数据的处理方法的流程示意图；

图2a为本发明第二实施例提供的训练数据的处理方法的流程示意图；

图2b为本发明第二实施例提供的训练数据的处理方法中的训练数据与模型的示意图；

图2c为本发明第二实施例提供的训练数据的处理方法中的全局索引映射示意图；

图3为本发明第三实施例提供的训练数据的处理装置的结构示意图；

图4为本发明第四实施例提供的服务器的结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。