[发明专利]海量传感器数据收集处理及反馈的系统和方法

说明书

本发明提供了一种海量传感器数据收集处理及反馈的系统和方法，传感器数据上传接口收集传感器上传的数据和请求，并下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

技术领域

本发明涉及数据处理技术领域，具体涉及一种海量传感器数据收集处理及反馈的系统和方法。

背景技术

DR(Dead Reckoning，航位推算，也叫惯性导航，简称惯导)可以在GPS(GlobalPositioning System，全球定位系统)信号较差时做航位推算，在一定距离内修复GPS定位偏差，DR推算时对传感器器件输出的数据(例如陀螺仪、加速计、气压计等)、情景类型(高架上、隧道中、密集楼宇旁)、用户推算历史等进行建模，模型推算精度误差会随时间推移发散直至不可用，而在模型确定时，模型参数的变化会影响到模型性能，好的模型参数可以有效提升DR推算性能，即延长可靠推算时间、提升推算精度减小误差。

现有技术中，DR模型一旦确定后，将模型算法集成在端设备中，并通过对端上设备进行典型场景下的实际测试，得到测试结果后，通过分析测试数据得到模型参数并固化在设备固件中。其存在的缺点包括：可用于模型参数学习的设备仅为测试设备，处理的测试数据量较小，不能准确的反应模型；模型参数确定后并难以通过数据累积优化参数并更改模型参数；不能有效利用情景识别和历史参数。

发明内容

本发明为海量传感器数据分析处理提供了一种高可用、高可靠、可扩展的分布式架构，解决了数据高效收集、处理的技术问题，并将模型参数反馈到设备端，提升DR(惯导)性能；并可通过不断的累积多源数据，迭代提升反馈参数的有效性。

本发明采用的技术方案如下：

一种海量传感器数据收集处理及反馈的系统，传感器数据上传接口收集传感器上传的数据和请求，并将数据和请求下发到网关；网关将请求转发到服务处理节点集群；服务处理节点集群对数据进行处理，并将数据和请求下发到消息队列和日志服务中；消息队列和日志服务将收集的数据与请求发送到分布式文件系统中，同时发送到在线数据处理引擎；在线数据处理引擎接收消息队列和日志服务发送的数据，实时筛选并处理，得到局部最优模型参数，并发送到模型验证组件；分布式文件系统存储海量数据，离线数据处理引擎处理分布式文件系统中存储的海量数据，得到全局最优模型参数，并发送到模型验证组件；调度引擎调度在线数据处理引擎和离线数据处理引擎。

进一步地，所述传感器包括加速计、陀螺仪、气压计或者磁强计。

进一步地，所述传感器上传的数据采用NMEA数据格式。

进一步地，所述传感器上传的数据包括以下任一一种及以上：

设备端元信息，端上算法版本、各传感器型号、设备型号；

传感器采样时间、采样时经纬度信息、NMEA中包含的传感器数据信息；

传感器推算状态信息；

模型推算的设备端状态与情景。

进一步地，所述服务处理节点集群包括VDR Handlers、PDR Handlers和ContextHandlers；VDR Handlers对车载模式相关的传感器数据进行处理；PDR Handlers对步行模式相关的传感器数据进行处理；Context Handlers利用传感器上传的数据和请求，进行最大概率情景推断，帮助传感器根据不同情景调整模型参数。