[发明专利]用于库存控制和优化的强化学习系统和方法

说明书

一种在系统中对资源管理代理的强化学习的方法，该系统用于管理具有销售范围的易消亡资源的库存，同时寻求优化由此生成的收入。库存具有相关联的状态。该方法包括生成多个动作。响应于这些动作，接收对应的观察，每个观察包括与库存相关联的状态的过渡以及从易消亡资源的销售生成的收入形式的相关联报酬。将接收到的观察存储在重放存储器存储库中。根据优先化的重放采样算法，从重放存储器存储库中周期性地采样随机化的观察批，其中在整个训练时期内，逐步适配用于选择随机化的批中的观察的概率分布。每个随机化的观察批被用于更新神经网络的权重参数，该神经网络包括资源管理代理的动作‑值函数近似器，使得在提供有输入库存状态和输入动作时，神经网络的输出更加紧密近似于在输入库存状态下生成输入动作的实际值。神经网络由此可以被用于选择根据与库存相关联的对应状态而生成的所述多个动作中的每个动作。

技术领域

本发明涉及用于改善库存控制和优化的技术方法和系统。特别地，在改进的收益管理系统的实现中，本发明的实施例采用机器学习技术，特别是强化学习。

背景技术

在许多行业中采用库存系统来控制资源的可用性，例如通过定价和收益管理以及任何相关联的计算。库存系统使客户能够购买或预订提供商提供的可用资源或商品。此外，库存系统允许提供商管理可用资源，并通过将这些资源提供给客户来最大程度地增加收入和利润。

在此上下文中，术语“收入管理”是指数据分析的应用，以预测消费者行为并优化产品供应和定价以最大化收入增长。收入管理和定价在宾馆、旅游和运输行业尤为重要，所有这些行业的特征都是“易消亡的存货”，即，一旦使用范围过去，空置的空间(诸如房间或座位)就表示无法弥补的收入损失。定价和收入管理是这些行业的运营商可以改善其业务和财务绩效的最有效方式。重要的是，定价是容量管理和负载平衡中的强大工具。因此，最近几十年来，这些行业中已经开发了复杂的自动化收入管理系统。

举例来说，航空公司收入管理系统(RMS)是一种自动系统，被设计为在预留时段(通常为一年)内最大化所有可用座位生成的航班收入。RMS用于设置有关随时间推移的座位可用性和定价(飞机票价)的策略，以便实现最大收入。

常规的RMS是一种建模的系统，即，它基于收入和预留的模型。该模型是专门为模拟操作而构建的，因此必然包含许多假设、估计和试探法。这些包括对客户行为的预测/建模、对需求(数量和模式)的预报(forecast)、对单个航段以及整个网络中的座位占用的优化，以及超额预订。

但是，常规RMS具有许多缺点和局限性。首先，RMS取决于可能无效的假设。例如，RMS假设未来由过去准确地描述，而如果业务环境发生变化(例如，新竞争对手)、需求和消费者对价格的敏感度发生变化或客户行为发生变化，那么情况可能并非如此。它还假设客户行为是理性的。此外，常规RMS模型在竞争者的动作在客户行为中被隐含考虑的假设下将市场视为垄断。

RMS的常规方法的另一个缺点是，模型与其输入之间通常存在相互依赖关系，使得可用输入数据中的任何改变都要求修改或重建模型以利用新的或改变的信息。此外，在没有人工干预的情况下，建模的系统对需求的改变反应缓慢，需求的改变在模型所基于的历史数据中表现得很差或没有表现。

因此，期望开发出能够克服或至少减轻常规RMS的缺点和局限性中的一个或多个的改进的系统。

发明内容

本发明的实施例实现了一种基于机器学习(ML)技术的收入管理方案。这种方案有利地包括提供强化学习(RL)系统，其使用历史数据和实况数据(例如，库存快照)的观察来生成输出，诸如推荐的定价和/或可用性策略，以便优化收入。