[发明专利]一种基于深度强化学习的电动汽车充电导航方法

说明书

一种基于深度强化学习的电动汽车充电导航规划方法，采集电动汽车充电导航的历史数据；利用确定性电动汽车充电导航模型对历史数据降维并抽取特征数据；根据特征数据，建立马尔科夫决策过程模型，然后以特征数据为训练样本，训练初始化后的深度Q值网络；根据实际的各道路的平均行驶速度、各充电站的等待时间和各充电站的充电电价，利用深度Q值网络，得到综合成本最小的电动汽车充电站选择，再利用确定性电动汽车充电导航模型，得到路线规划。本发明能全面反映电动汽车在充电导航过程中的各种成本与随机性。相比已有方法，本发明更加全面完整地刻画了电动汽车充电导航问题，并通过深度强化学习的方法很好地处理了随机性，优势显著。

技术领域

本发明属于电力系统领域，涉及一种基于深度强化学习的电动汽车充电导航方法。

背景技术

随着电动汽车的快速发展和普及，电力网和交通网的联系日益紧密。电动汽车车主在面临充电需求时，可根据电网与交通网的实时数据规划总体成本最小的充电方案。这些数据包括各条道路的行驶时间，各充电站的等待时间和充电价格。然而，这些数据数量巨大且具有一定的随机性，这为电动汽车车主规划最优充电导航方案带来了挑战。

目前的电动汽车充电规划主要分为两类：一类是静态充电，即不考虑交通网信息的电动汽车充电计划安排，这种场景多发生在住宅区和大型车库中，主要考虑的是充电电价的不确定性。另一类是确定性的充电导航，即认为道路的行驶时间、各充电站的等待时间和充电价格是已知且确定的。这两类规划都未能很好地解决电动汽车车主在实际场景中的充电导航问题。

随着深度强化学习技术的迅猛发展，深度Q值网络技术被运用在越来越来的研究领域中，并由于其强大的自适应能力，使其能较好地从具有随机性的数据中提取信息和识别特征。此外，与传统的基于模型的方法相比，深度Q值网络具有更好的泛化能力，不依赖具体的先验概率信息。

综上，在电动汽车保有率持续增加的背景下，基于深度强化学习的电动汽车充电导航研究充分适配电动汽车车主实际中的充电导航规划需求，并能很好地处理数据的随机性，对电动汽车投入大规模应用有基础性的作用，能填补已有研究尚未关注的空白。

发明内容

本发明的目的在于提供一种基于深度强化学习的电动汽车充电导航方法，以填补现有电动汽车充电规划方法的不足：充分考虑电网与交通网的历史数据，首先通过确定性的充电导航模型对高维数据降维，再利用深度Q值神经网络处理数据的随机性，为电动汽车车主提供综合成本最小的充电导航服务。

为了实现上述目的，本发明采用如下技术方案：

一种基于深度强化学习的电动汽车充电导航规划方法，包括以下步骤：

步骤一：采集电动汽车充电导航的历史数据；

步骤二：利用确定性电动汽车充电导航模型对历史数据降维并抽取特征数据；

步骤三：根据步骤二中的特征数据，建立马尔科夫决策过程模型；

步骤四：利用马尔科夫决策过程模型，以特征数据为训练样本，训练初始化后的深度Q值网络；

步骤五，根据实际的各道路数据，利用完成训练的深度Q值网络，得到综合成本最小的电动汽车充电站选择，再利用确定性电动汽车充电导航模型，得到路线规划。

本发明进一步的改进在于，步骤一中，历史数据包括：各道路的平均行驶速度、各充电站的等待时间和各充电站的充电电价。

本发明进一步的改进在于，确定性电动汽车充电导航模型如下：

模型约束为：

e^end≥e^min (4)