[发明专利]一种车上数据清理方法、装置、电子设备及存储介质

说明书

本发明公开了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。本发明包括：读取车辆状态日志文件；采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；获取bag文件；采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

技术领域

本发明涉及数据清理技术领域，尤其涉及一种车上数据清理方法、装置、电子设备及存储介质。

背景技术

当前，自动驾驶和数据闭环结合在一起成为一大解决方案，原因是自动驾驶工程已经被认可是一个解决数据分布“长尾问题”的任务，时而出现的corner case(极端情况)是对数据驱动的算法模型进行升级的来源之一。

构成这个自动驾驶数据闭环的核心技术和模块都有哪些呢？首先是这个自动驾驶的算法和模块是数据驱动的，其次源源不断的数据需要有合理有效的方法去利用。

在数据侧，围绕海量和高质量两个要素进行样本收集。理想的数据收集包含实车数据和仿真数据，实车数据量＝实车数量*采集时间。

而自动驾驶的实车数据一般都是保存在bag文件中，其中收集了各个模块的topic数据，比如激光雷达和摄像头采集的数据帧，点云采集的数据帧，车辆底盘的状态等等。而bag文件的数据量是很大的，根据实测经验，bag文件一般都是每分钟几个GB，以每分钟2GB的数据量为例，以无人配送为例，每辆车每天大概运行10小时(包括泊车、上货、卸货时间)，大概的数据量就在1.2TB左右。

在现有技术中，一般都是先将全部数据保存下来，然后再裁剪某个时段数据，或者某些topic数据，从而减少数据量，但这种方式相对机械化，而且筛选出来的数据质量并不高，除了可能存在大量不关注的数据，还可能丢失重要数据，因此，需要人为干预，以提高数据清理后的质量。

发明内容

本发明提供了一种车上数据清理方法、装置、电子设备及存储介质，用于解决现有的车上数据清理方法质量差的技术问题。

本发明提供了一种车上数据清理方法，应用于自动驾驶系统；所述自动驾驶系统存储有自动驾驶状态过滤规则表；所述方法包括：

读取车辆状态日志文件；

采用所述自动驾驶状态过滤规则表和所述车辆状态日志文件生成过滤表；

获取bag文件；

采用所述过滤表过滤所述bag文件，得到目标bag文件，并删除所述bag文件。

可选地，所述采用所述自动驾驶状态过滤规则和所述车辆状态日志文件生成过滤表的步骤，包括：

从所述车辆状态日志文件中读取未处理的车辆状态日志；

在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则；

若匹配成功，采用所述目标自动驾驶状态过滤规则和所述未处理的车辆状态日志生成过滤表记录；

判断所述车辆状态日志文件中是否存在未处理的车辆状态日志；

若是，返回从所述车辆状态日志文件中读取未处理的车辆状态日志的步骤；

若否，采用所有所述过滤表记录生成过滤表。

可选地，所述自动驾驶状态过滤规则表中记录有多条自动驾驶状态过滤规则；所述在所述自动驾驶状态过滤规则表中匹配所述未处理的车辆状态日志对应的目标自动驾驶状态过滤规则的步骤，包括：

从所述未处理的车辆状态日志中获取状态变化前的第一初始状态和状态变化后的第一目标状态；

从所述自动驾驶状态过滤规则中获取第二初始状态和第二目标状态；