[发明专利]基于kettle的汽车数据实时采集处理系统及方法

说明书

本发明公开了一种汽车数据实时采集处理系统，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；本发明还提供一种基于kettle的汽车数据实时采集处理方法，通过如前所述的系统实现。采用上述技术方案，本发明的汽车高频数据实时采集处理方法及系统，通过将数据处理任务部分地分配至多个处理单元进行处理，将数据处理量巨大的第三部分数据处理任务分配给云服务器，有效减小了车载服务器的载荷。

技术领域

本发明涉及一种基于kettle的汽车高频数据实时采集处理方法及系统，属于汽车数据采集处理技术领域。

背景技术

在数字科技时代，数据的价值是毋庸置疑的。如何最大化数据价值并提供更高质量的、有效数据已成为现阶段汽车制造商和服务提供商日益重要的问题。数据收集、处理、分析，不能忽略应用程序的每个方面。汽车数据采集，以车载视觉系统为例，行人检测用于定位车辆前方的行人，为驾驶员提供信息与提醒，是智能驾驶技术必需的功能之一。车载摄像头提供视频，即依时间顺序排列的图像流。配合图像流意外的输入信息，如雷达、红外线辅助探测都是提高识别率的有效方法。车辆检测用于定位行车前方的车辆，它不仅用于辅助驾驶，还是测量车距的先行程序，也是智能驾驶做出决策的重要参考因素，图像序列同样由车载摄像头拍摄的视频获得。测量车距与车速主要用于预防碰撞、侧挂事故，预计到危险时结合对驾驶员状态的判断给与提醒。检测车道线主要服务于车道偏离报警，检测交通标志的应用可以为驾驶员提供准确的交通信息，减少实现转移。除此之外，还包括其他诸如监视驾驶员状态、视线调节、视觉增强等辅助功能。随着对该系统的扩展，激光雷达是必不可少的。激光雷达原始数据庞大，每秒大约300MB。对汽车数据的处理，例如采集到的车载视觉系统的参数配置信息和图像信息，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息，输出确定的车载视觉系统自身运动信息，过程中均需要对数据进行大量的调取、运算处理。当车载系统无法完成对海量数据的及时数据处理时，云计算成为了一个解决方案。这对数据网络的传输负荷提出了更高的要求，同时网络高延迟所带来的滞后性也对这一方案的实施构成影响。然而，随着5G网络的应用与普及，上述问题能够得到充分的解决。新网络基于高密度基站的建立，通过基站对数据进行传输，低延迟、低功耗以及大流量的数据传输能力为云计算方案提供了技术支持。此外，优化数据结构也是汽车数据处理的另一个重要的改进方向。如今以计算机为基础开发的识别算法，与人脑的识别能力还有很大差距，需要大量的图形数据信息，辅助以大量的雷达、声音等信息完成识别，单目视觉计算简单快速，而双目与多目视觉，在突破立体成像算法复杂、困难的问题后，逐渐成为机器视觉的首选方法时，需要更多的数据量作为支持。因此，优化数据的采集结构，避免消耗系统大量的计算能力来分析处理额外的不被需要的数据，也是值得研究的一个方向。

发明内容

因此，本发明的目的在于提供一种汽车数据实时采集处理方法、系统，用于解决车载系统数据处理能力差的问题。

为了实现上述目的，本发明的汽车数据实时采集处理系统，包括：车载服务器、车载数据实时采集系统、数据中继与处理系统以及云服务器；

所述车载数据实时采集系统；

所述车载服务器用于接收车载数据实时采集系统采集到的采集数据；完成数据处理任务的第一部分；将数据处理任务的其他部分及其对应的采集数据发送至数据中继与处理系统；

所述数据中继与处理系统包括数据处理模块以及数据中转模块；所述数据处理模块用于完成数据处理任务的第二部分；所述数据中转模块用于将数据处理任务的第三部分及其对应的采集数据发送至云服务器，用于将数据处理模块的数据处理结果以及云服务器的数据处理结果发送至车载服务器；

所述云服务器用于完成数据处理任务的第三部分并将数据处理结果发送至数据中继与处理系统。