[发明专利]基于机器学习构建模拟环境的智能营销策略的训练方法

说明书

本发明公开了一种基于机器学习构建模拟环境的智能营销策略的训练方法，主要包括(1)基于机器学习的模拟营销平台环境构建、(2)基于模拟营销平台环境的营销策略搜索、(3)营销策略迁移优化三大部分，解决营销系统领域里的试错成本高、营销平台变化快、营销策略求解难的问题。

技术领域

本发明涉及一种基于机器学习构建模拟环境的智能营销策略的训练方法，涉及人工智能及互联网数据处理技术领域。

背景技术

营销的过程通常是营销者设计好素材，选择营销受众(即目标群体)、预算等可配置参数，将素材投放在社交媒体平台上，平台根据内部的策略进行展示，根据投放平台反馈的统计数据信息，如浏览量、下载量，实际费用等，更新受众、预算等可配置参数，直至该投放过程结束。这是一个典型的序列决策过程，营销的目标是使得实际费用尽可能低的情况下，在目标受众上的转化率(可定为下载量或浏览量)尽可能高。由于素材投放之后，平台内部会在大量的投放素材之间进行竞价和推荐，最终进行展示，而平台的策略无法直接获得，也间接导致素材的投放是一个持续的、动态变化的过程，投放者需要凭借直觉和经验决策，即决定如何进行下一次投放。

强化学习通过让智能体与环境不断交互试错，提升智能体自身的决策能力和效率，使智能体在环境中逐渐学得最优控制策略(即最优决策策略)，自动完成决策任务。然而，强化学习的学习过程需要智能体与环境进行大量交互试错，在实际的营销过程中，如果直接使用强化学习，则需要使用大量不同的配置参数在真实的营销平台中进行试错，然后从这些试错的交互轨迹，获得最优的投放策略，显然这种方法会带来巨大的资源浪费，试错成本巨大，是不切实际的。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种基于机器学习构建模拟环境的智能营销策略的训练方法。

技术方案：一种基于机器学习构建模拟环境的智能营销策略的训练方法，主要包括营销环境模拟器构造、策略搜索和策略迁移优化三个模块的实现。现实中的营销平台通常会收到多个投放者的投放需求，经平台内部竞价和推荐策略计算后，进行实际投放，并将投放结果的统计量返回给各个投放者。由于其他投放者个数不定，其投放策略和平台内部的策略均不可观测，因此本发明将平台和其他投放者建模为营销环境，并构建模拟营销环境，投放者进行投放操作后，模拟营销环境返回对应的投放结果。

营销环境模拟器构造模块利用真实营销环境中的历史投放记录数据(交互数据)，首先以投放者视角，对交互数据作状态和动作编码为S和a，其中状态S包含平台反馈的统计信息，动作a为投放内容、目标群体等具体投放行为，并按照时间先后顺序，得到对应的状态-动作序列，即(S0,a0,S1,a1,…,ST)序列。营销环境模拟器利用机器学习方法，从编码并划分完成的状态-动作序列中学得营销环境模型，作为营销环境模拟器，该模型输入当前的“状态”与执行的“动作”，输出动作执行完成后的下一个“状态”。

营销环境模拟器构造完成后，策略搜索模块利用策略搜索方法，和营销环境模拟器交互，进行策略优化，例如优化目标为最大化下载量与实际花费的比值，并根据实际场景，建立约束，通过搜索之后，得到投放策略。为了增强策略的鲁棒性，通常在训练时需要进行噪声扰动。

由于模拟营销环境和真实营销环境的状态和动作空间具有一致性，可将在营销环境模拟器中学得的营销策略直接应用到真实营销平台上，但实际营销场景中，平台的内部策略通常也在不断改进，因此将搜索得到的营销策略部署后，策略迁移优化模块需要收集部署后产生的新的交互数据，用于对营销环境模拟器的进一步更新，并重新搜索策略，以提高各个模型的准确度和适应性。

附图说明

图1是本发明实施例的方法流程图。

具体实施方式