[发明专利]基于kettle的汽车数据实时采集处理系统及方法

权利要求书

1.一种汽车数据实时采集处理系统，其特征在于，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；

所述车载数据实时采集系统；

所述车载服务器用于接收车载数据实时采集系统采集到的采集数据；完成数据处理任务的第一部分；将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

所述数据中继与处理系统包括数据处理模块以及数据中转模块；所述数据处理模块用于完成数据处理任务的第二部分；所述数据中转模块用于将数据处理任务的第三部分及其对应的采集数据发送至云服务器，用于将数据处理模块的数据处理结果以及云服务器的数据处理结果发送至车载服务器；

所述云服务器用于完成数据处理任务的第三部分并将数据处理结果发送至数据中继与处理系统；

所述汽车数据实时采集处理系统还包括至少一个公共激光雷达基站，所述公共激光雷达基站包括至少一个激光雷达装置，用于获得汽车行驶道路区域空间环境的点云数据，并上传至云服务器，用于在云服务器用于在进行数据处理任务的第三部分时共享点云数据。

2.如权利要求1所述的汽车数据实时采集处理系统，其特征在于：所述车载数据实时采集系统包括激光雷达模块；所述数据处理任务的第三部分基于激光雷达模块获得的点云数据完成，包括障碍物检测、可通行空间检测和/或障碍物轨迹预测。

3.如权利要求2所述的汽车数据实时采集处理系统，其特征在于：所述云服务器用于接收多辆汽车的车载数据实时采集系统所采集的点云数据以及车辆的位置信息，并在进行数据处理任务的第三部分时共享点云数据。

4.如权利要求1-3任一项所述的汽车数据实时采集处理系统，其特征在于：所述激光雷达装置为多个；所述车载服务器用于在接收到云服务器的数据处理结果后确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。

5.如权利要求2-3任一项所述的汽车数据实时采集处理系统，其特征在于：所述数据中继与处理系统包括至少一个5G无线网络基站；所述车载数据实时采集系统包括图像采集模块、定位模块以及所述的激光雷达模块；数据处理任务的第一部分或第二部分基于所述图像采集模块采集到的图像数据完成，包括行人检测、车辆检测、车道线检测或交通标志检测。

6.一种基于kettle的汽车数据实时采集处理方法，其特征在于，包括：

（1）车载服务器对车载数据实时采集系统的采集数据进行归类，并完成数据处理任务的第一部分，并将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

（2）所述数据中继与处理系统完成数据处理任务的第二部分，并将数据处理任务的第三部分及其对应的采集数据发送至云服务器；

（3）云服务器利用ETL工具Kettle对上传到云服务器中的原始采集数据进行数据清洗处理；对数据进行数据拆分、数据排序、数据去重和数据验证的数据转换处理；将结构化数据保存到数据库，将非结构化数据保存到文件系统；完成数据处理任务的第三部分后将任务处理结果并将数据处理结果发送至数据中继与处理系统；

（4）数据中继与处理系统将数据处理结果发送至车载服务器；

在所述步骤3中，所述云服务器接收到多辆汽车的车载数据实时采集系统中激光雷达模块所采集的点云数据以及车辆的位置信息，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的其他汽车同一时序内获得的点云数据；

在所述步骤3中，所述云服务器接收到公共激光雷达基站所采集到的点云数据，并在进行某一辆汽车的数据处理任务的第三部分时，根据其位置信息调用临近的公共激光雷达基站同一时序内所采集到的点云数据。

7.如权利要求6所述的汽车数据实时采集处理方法，其特征在于：在所述步骤4中，所述车载服务器在接收到云服务器的数据处理结果后，确定障碍物区域与非障碍物区域，并降低针对非障碍物区域进行扫描的激光雷达装置的扫描频率。