[发明专利]自动驾驶模型训练方法及数据处理设备

说明书

本申请提供的自动驾驶模型训练方法及数据处理设备，通过由多个学习模块中的第二自动驾驶模型并行地进行探索学习获得经验数据，然后将经过筛选后的经验数据存储至共享的目标回放缓存，多个第二自动驾驶模型又根据共享的目标回放缓存中的经验数据及第一自动驾驶模型的网络参数更新自身的网络参数继续进行探索学习。并且在满足一定更新条件时，结合各第二自动驾驶模型的网络参数对第一自动驾驶模型进行更新。如此，在整个训练过程中，由多个并行的第二自动驾驶模型进行探索学习并进行经验数据共享，提高了训练的效率，并且通过对共享经验数据的筛选以及控制更新所述第一自动驾驶模型网络参数的参数更新条件，可以使整个学习过程更稳定。

技术领域

本申请涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶模型训练方法及数据处理设备。

背景技术

自动驾驶技术是人工智能在现实世界中最具有实际意义的应用之一，大规模地实现自动驾驶技术可以有效地减少由人类驾驶员的过失，如疲劳驾驶、注意力分散、超速和危险驾驶等不安全行为所造成的经济及社会损失。

自动驾驶技术的实现目前主要依赖于基于机器学习的自动驾驶模型，由自动驾驶模型根据驾驶时采集的行驶环境数据确定出动作策略，从而控制车辆自动地执行相应的动作。在一些针对自动驾驶模型的训练方案中，采用设置虚拟驾驶场景（包括虚拟的道路、障碍或天气物等），获取虚拟车辆在虚拟驾驶场景中行驶时通过虚拟传感器采集的行驶环境数据，然后训练自动驾驶模型根据行驶环境数据确定出合适的动作策略来控制虚拟车辆，从而使自动驾驶模型学习到针对不同环境时需要采用的驾驶动作。

但是，这些自动驾驶模型的训练方案中，或存在训练速度较快但训练过程不稳定的问题，或存在训练过程较稳定但训练速度较慢的问题，难以兼顾训练速度和训练过程的稳定性。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种自动驾驶模型训练方法，所述方法应用于数据处理设备，所述数据处理设备中预先配置有多个并行运行的学习模块；所述方法包括：

针对多个并行运行的学习模块中的每个所述学习模块，在启动一轮次模型训练时，通过复制第一自动驾驶模型的网络参数获得第二自动驾驶模型；所述第一自动驾驶模型包括目标动作确定网络及目标动作评价网络，所述第二自动驾驶模型包括在线动作确定网络及在线动作评价网络；其中，每一轮次的模型训练包括多个训练步骤；

在每个训练步骤中，通过所述第二自动驾驶模型获取模型训练过程中产生的在线经验数据，并将所述在线经验数据存储至所述学习模块的在线回放缓存中；其中，所述在线经验数据包括第一行驶环境数据、第一执行动作、实际动作奖励值及第二行驶环境数据，所述第一行驶环境数据为虚拟车辆在虚拟驾驶场景中行驶时，由所述虚拟车辆对应虚拟传感器从所述虚拟驾驶场景中采集到的当前的行驶环境数据；所述第一执行动作为所述第二自动驾驶模型的在线动作确定网络根据所述第一行驶环境数据得出的所述虚拟车辆的执行动作；所述第二行驶环境数据为所述虚拟车辆执行所述第一执行动作之后的行驶环境数据；所述实际动作奖励值为在执行所述第一执行动作后从所述第一行驶环境数据变更至第二行驶环境数据获得的奖励值；

在每个训练步骤中，通过所述第二自动驾驶模型的在线动作评价网络及所述第一自动驾驶模型的目标动作评价网络，根据多个所述学习模块共享的目标回放缓存中的多条共享经验数据，对所述第二自动驾驶模型的网络参数进行更新；

在完成一轮次模型训练后，根据所述目标回放缓存中各共享经验数据，以及所述在线回放缓存中各在线经验数据的第一执行动作的方差，对所述学习模块的在线经验数据进行筛选，将满足预设的动作方差条件的在线经验数据存入所述目标回放缓存中作为新的共享经验数据；

针对任意一个所述学习模块，在训练过程中，当满足预设模型参数更新条件时，获取所述第一自动驾驶模型当前的第一网络参数及该学习模块对应的第二自动驾驶模型的第二网络参数；