[发明专利]一种点击流数据的处理方法及装置

说明书

技术领域

本发明属于计算技术领域，尤其涉及一种点击流数据的处理方法及装置。

背景技术

在线广告的点击率预估在广告投放过程中起着重要的作用，其点击率预估模型的建立依赖于在线广告投放的历史数据。由于目前在线广告中面向的用户与广告订单变化快速，因此，在线广告点击率预估模型的快速更新也显得尤为重要。

近年来，流式数据处理系统在大数据领域应用的普及，为海量数据的实时处理提供了新的解决方案。例如，现有一种基于流式数据处理系统的在线分析点击流数据的方法，可从广告业务服务器接入广告点击流数据，提取点击流数据中相关有效信息，生成广告点击率预估模型所需的训练数据，其后会直接使用该训练数据训练点击率预估模型。其中，点击流数据是指展示广告的每一次曝光、点击、转化等行为被网络服务器记录在日志中时产生的流式数据。

在对现有技术的研究和实践过程中，本发明的发明人发现，随着在线广告市场的持续发展，广告相关的点击流数据也在持续增长。在海量的点击流数据中，在有效信息提取后，仍存有大量的信息冗余，如在同一段时间内，有很多相同年龄、相同性别的人在同一个广告位看到相同的广告，若将这些数据记录为多条，则会造成信息冗余，从而导致存储资源与后续模型计算资源的浪费。

发明内容

本发明的目的在于提供一种点击流数据的处理方法及装置，旨在减少存储资源与模型计算资源的浪费。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种点击流数据的处理方法，其中包括：

获取点击流数据；

根据所述点击流数据，生成原始训练数据；

对所述原始训练数据进行聚合，得到第一聚合训练数据；

在预设的第一时间间隔内对得到的第一聚合训练数据进行存储；

基于存储的第一聚合训练数据进行点击率预估模型训练。

为解决上述技术问题，本发明实施例还提供以下技术方案：

一种点击流数据的处理装置，其中包括：

获取单元，用于获取点击流数据；

生成单元，用于根据所述点击流数据，生成原始训练数据；

聚合单元，用于对所述原始训练数据进行聚合，得到第一聚合训练数据；

存储单元，用于在预设的第一时间间隔内对得到的第一聚合训练数据进行存储；

训练单元，用于基于存储的第一聚合训练数据进行点击率预估模型训练。

相对于现有技术，本实施例，根据获取到的点击流数据，生成原始训练数据，并对该原始训练数据进行聚合处理，得到第一聚合训练数据；其后在预设的第一时间间隔内对得到的第一聚合训练数据进行存储，并利用第一聚合训练数据进行点击率预估模型训练；本发明实施例，在生成原始训练数据的过程中，基于点击流数据生成的训练数据进行聚合处理，并利用得到的聚合训练数据进行存储以及模型训练，可以避免信息的冗余，减少了数据的存储消耗，进而，在模型训练过程中可以使用到更长时间范围的数据，提升模型质量。

附图说明

下面结合附图，通过对本发明的具体实施方式详细描述，将使本发明的技术方案及其它有益效果显而易见。

图1a是本发明提供的点击流数据的处理方法的场景示意图；

图1b为本发明第一实施例提供的点击流数据的处理方法的流程示意图；

图2a为本发明第二实施例提供的点击流数据的处理方法的流程示意图；

图2b为本发明第二实施例提供的点击流数据的处理方法中数据聚合的流程示意图；

图2c为本发明第二实施例提供的点击流数据的处理方法中数据聚合示意图；

图2d为本发明第二实施例提供的点击流数据的处理方法中数据聚合的另一流程示意图；

图3a为本发明第三实施例提供的点击流数据的处理装置的结构示意图；

图3b为本发明第三实施例提供的点击流数据的处理装置的另一结构示意图。

具体实施方式

请参照图式，其中相同的组件符号代表相同的组件，本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例，其不应被视为限制本发明未在此详述的其它具体实施例。