[发明专利]一种基于强化学习的陆空联合轨迹优化与资源分配方法

说明书

本发明公开了一种基于强化学习的陆空联合轨迹优化与资源分配方法，抽象车辆行驶与无人机飞行距离与服务运营商的运营成本，抽象描述无人机能量消耗过程，建立最小化运营商成本与节能减排的优化模型；根据目标与多个约束根据可靠交付的用户分配方法形成问题初始解；采用基于丰富操作符的策略网络解决对于解的改善迭代过程；采用可靠的陆地联合交付方案解决无人机与车辆的协同投递问题。本发明首次将陆空协同运输与带有丰富算子的强化学习结合，在保证服务商运营成本的基础上，保证设备服务可靠性，为车辆与无人机提供性能较好的路径集合与包裹投递顺序，为陆空协同轨迹优化与资源分配问题研究提供新思路。

技术领域

本发明涉及空天一体化的物流交付问题，尤其涉及到一种综合考虑用户包裹可靠性交付和无人机与车辆联合服务两方面的协同轨迹优化与资源分配问题，并且能在最大程度减少服务商成本的基础上做到节能减排，并保障每位用户的包裹可靠性投递。

背景技术

陆空联合包裹配送作为新型投递方式，将无人机的灵活性与车辆的机动性紧密结合，扩展配送范围的同时减少车辆排放。推进无人机与车辆的协同交付关键在于在配送过程中如何协调两者进行路线规划与资源分配。现有研究大多集中在对于单一设备的轨迹优化问题上但是对于无人机可靠性交付的路线规划与资源分配研究较少。如何协同陆空信息、如何解决包裹可靠性交付问题有待进一步深入研究。

发明内容

本发明的主要目的是针对现有研究的不足之处，考虑当前场景下空地信息协同难、NP-hard问题计算复杂、无人机可靠性交付等多方面问题，综合权衡陆空轨迹优化与资源分配问题。本发明旨在实现碳中和，从成本与减排两个方面考虑陆空交付方法；根据用户地理位置及无人机与车辆状态提出客户分配方法；提出可靠空地交付方案，根据初始解不断进行迭代，在大量算子改进解的过程中设计有效的算子排列顺序。本发明首次将陆空协同运输与带有丰富算子的强化学习结合，在保证服务商运营成本的基础上，保证设备服务可靠性，为车辆与无人机提供性能较好的路径集合与包裹投递顺序，为陆空协同轨迹优化与包裹投递问题研究提供新思路。

本发明采用的技术方案是：一种陆空联合轨迹优化与资源分配方法，步骤如下：

(1)构建最小化运营商成本与节能减排的优化模型，确定服务提供商与用户需求的效用；

(2)根据目标与多个约束根据可靠交付的用户分配方法形成问题初始解；

(3)采用基于丰富操作符的策略网络解决对于解的改善迭代过程；

(4)采用无人机与车辆的陆地联合交付方案解决协同投递问题。

本发明的有益效果：本发明提出的基于可靠性的陆空联合轨迹优化与资源分配方法权衡运营商的成本与节能减排两方面的目标，对研究场景进行数学建模。并定义相关的可靠性表达，使用强化学习及丰富的操作符对解进行多轮迭代操作，目的是跳出局部最优解并获得效果较好的解，真正为车辆与无人机提供性能较好的路径集合与包裹投递顺序，为陆空协同轨迹优化与包裹投递问题研究提供新思路。

附图说明

图1为陆空联合轨迹优化与包裹投递场景；

图2为仅车辆服务与无人机车辆协同角度在交付时间上的对比；

图3为27种操作符的分类、名称及详细信息表述；

图4为一个改善操作符与扰乱操作符对行程改善的例子；

图5为基于可靠的陆地联合交付方案框架；

图6、7、8为不同用户数量下每条行程的距离比之和、车辆行驶距离、无人机飞行距离之间的关系；

图9、10、11为不同无人机负载下每条行程的距离比之和、车辆行驶距离、无人机飞行距离之间的关系；

图12、13、14为不同无人机电量下每条行程的距离比之和、车辆行驶距离、无人机飞行距离之间的关系。