[发明专利]基于大数据强化学习的广告分析与监控方法及装置

说明书

本发明提供了基于大数据强化学习的广告分析与监控方法及装置，其中基于大数据技术存储、挖掘广告投放数据，并基于强化学习算法对广告投放数据进行分析与监控，方法包括：处理设备根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库；所述处理设备被配置成用于执行以下功能：采用基于DDQN(深度双Q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的Q值，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项；所述处理设备提取所述每个动作的Q值中最大值得到反馈信息，以便根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。

技术领域

本发明涉及大数据、人工智能、广告投放技术领域，具体涉及基于大数据强化学习的广告分析与监控方法及装置。

背景技术

现有技术中在对广告投放进行监测时，为取得较好的广告投放效果，通常通过人工查看相关的广告投放数据，进而仅凭经验或者直觉调整广告决策，这种方式效率较低且容易出错，难以保障广告投放效果。

强化学习(reinforcement learning)，又称再励学习、评价学习，是一种重要的机器学习方法，在智能控制机器人及分析预测等领域有许多应用。强化学习是一个序列决策问题，它需要对一系列连续状态选择相应的行为，通过这些有序的行为获取最大的利益作为最终回报。在强化学习算法执行过程中没有任何的标签告诉它该如何继续，而是事先尝试一些行为，该行为会导致一定的结果。

发明内容

本发明实施例的一个目的在于针对现有技术所存在的缺陷，提供一种基于大数据强化学习的广告分析与监控方法及装置，实现对广告投放以及转化全流程数据分析与监测。

本发明的目的采用以下技术方案来实现：

本发明实施例的第一方面基于大数据技术和强化学习算法，提供了广告分析与监控方法，该方法包括：

处理设备根据广告主标识信息获取对应的广告投放数据，并将所述广告投放数据存储于数据库；

所述处理设备被配置成用于执行以下功能：采用基于DDQN(深度双Q网络)的强化学习模型对所述广告投放数据进行分析，得到相应于每个动作的Q值，所述动作包括调整广告计划预算、调整广告计划定向、调整广告计划投放时间中的至少一项；

所述处理设备提取所述每个动作的Q值中最大值得到反馈信息，所述反馈信息包括广告点击率，以便根据所述反馈信息评价广告投放效果，生成并输出评价结果和对应的广告投放建议。

在本发明实施例的第一方面的一种能够实现的方式中，该方法还包括：

所述处理设备根据广告主标识信息，从所述数据库中提取与预设监控指标相应的广告投放数据；

所述处理设备根据所述相应的广告投放数据，获取与所述监控指标对应的实际指标值，以及获取与所述实际指标值对应的指标阈值；

所述处理设备判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，判断为是时，根据与所述实际指标值对应的告警级别进行相应告警。

在本发明实施例的第一方面的一种能够实现的方式中，所述监控指标包括广告点击率，所述对应的实际指标值包括当日广告在第一预设时间段内的广告点击率CTR₀；所述对应的指标阈值包括当日之后的7天内所述广告在第二预设时间段内的预估广告点击率的均值CTR_i表示当日之后的第i天所述广告在第二预设时间段内的预估广告点击率；

判断所述实际指标值与对应的指标阈值之间的关系是否满足相应的风控告警触发条件，包括执行下列判断操作：

判断是否满足