[发明专利]一种车辆数据处理方法、终端及计算机存储介质

说明书

本申请涉及一种车辆数据处理方法、终端及计算机存储介质。本申请提供的处理方法，包括：获取车辆的原始数据包及所述原始数据包的元数据；根据所述元数据，从所述原始数据包中获取消息数据；根据所述消息数据，获取目标数据。本申请提供的车辆数据处理方法、终端及计算机存储介质，能够在数据服务读取数据时，减少数据传输量及传输时间，避免频繁的反序列化解析操作，提高车辆数据的存储、处理及使用效率。

技术领域

本申请属于车辆通信技术领域，尤其涉及一种车辆数据处理方法、终端及计算机存储介质。

背景技术

数据仓库诞生自上个世纪90年代，主要解决的是传统关系型数据库技术无法满足业务数据量爆炸性增长的问题。数据仓库采用特有的分布式存储架构，结合分布式计算框架，能满足用户从海量数据中分析挖掘有价值的信息，做出正确的决策。随着自动驾驶技术的蓬勃发展，自动驾驶数据的积累量越来越多，自动驾驶模型和仿真对数据驱动的依赖越来越强，如何高效存储、处理和使用车辆数据成了一个非常重要的技术难题。从数据结构看，车辆数据既包括结构化数据，如传感器信息，又包括非结构化数据，如摄像头图像；从数据体量看，车辆数据的单个文件大小达GB级，数量可多达百万级别，总存储量在几十甚至几百PB级别。这些场景特征都对数据仓库技术提出了新的要求。

当前自动驾驶的数据仓库，主要是围绕采集的原始数据包展开。车辆在道路上行驶时，将多个传感器采集的原始信号数据以ROS bag文件格式记录和输出；原始数据包通过上盘进入数据仓库后，往往直接存储在对象存储中。数据服务通过直接读取和传输对象存储中的原始数据包，作为数据输入提供给自动驾驶算法模型训练环境和仿真验证环境。然而，单个原始数据包包含了所有的原始信号数据，文件大小往往在1-10GB，即使数据服务只需一小部分信号数据，仍需传输完整的原始数据包，导致数据传输量大、数据传输时间较长、网络带宽压力较重、传输成本较高；另外，原始数据包是二进制文件，每当数据服务获得原始数据包，要读取其中的信号数据时，往往需要对原始数据包做大量反序列化解析操作，这个操作往往比较耗费时间(分钟甚至小时级别)和计算资源，并且解析后的数据没有保存，下次读取同一段信号数据，需要再次对同一个原始数据包执行相同的反序列化操作，降低了车辆数据的处理效率。

发明内容

针对上述技术问题，本申请提供一种车辆数据处理方法、终端及计算机存储介质，以提高车辆数据的存储、处理及使用效率。

本申请提供了一种车辆数据处理方法，所述处理方法，包括：获取车辆的原始数据包及所述原始数据包的元数据；根据所述元数据，从所述原始数据包中获取消息数据；根据所述消息数据，获取目标数据。

在一实施方式中，获取所述原始数据包的元数据，包括：根据所述原始数据包的存储格式定义，读取所述原始数据包的所述元数据；其中，所述元数据包括版本信息、头文件、连接信息、块信息。

在一实施方式中，在所述获取所述原始数据包的元数据的步骤之后，包括：将所述元数据以第一预设格式存储在数据库的元数据存储区。

在一实施方式中，所述连接信息包括连接名称、连接类型、消息名称、消息定义；所述块信息包括块起止位置、所述连接名称、所述消息名称、消息起止位置。

在一实施方式中，所述根据所述元数据，从所述原始数据包中获取消息数据的步骤，包括：根据所述消息名称，对所述原始数据包中的消息进行分类；通过递归的方法动态解析各类型消息的消息定义的字符串，构建所述各类型消息的对象，其中，所述各类型消息的对象包括所述各类型消息的嵌套结构及所述各类型消息的解析方法；根据所述各类型消息的块起止位置及消息起止位置，获取所述各类型消息的消息片段；调用对应的解析方法，对所述各类型消息的消息片段进行反序列化得到所述各类型消息的消息数据。