[发明专利]一种基于微服务的物联网基础数据补充方法、系统及设备

说明书

本发明公开一种基于微服务的物联网基础数据补充方法、系统及设备，方法包括，计算当日报表数据量与上一日报表数据量之间的设备数据量环比减少率，若设备数据量环比减少率大于预设设备数据量环比减少率，则判断设备的数据量异常；如果判断设备的数据量异常，则计算当日hdfs数据文件大小与上一日hdfs数据文件大小之间的文件大小环比减少率，若文件大小环比减少率大于预设文件大小环比减少率，则判断hdfs数据文件缺失；如果判断hdfs数据文件缺失，则根据当日的日期时间，从mysql数据库中获取设备信息；遍历设备信息，分别从Hbase数据库中获取每台设备的数据，将获取的数据写入至hdfs数据文件。

技术领域

本发明涉及物联网技术领域，具体涉及一种基于微服务的物联网基础数据补充方法、系统及设备。

背景技术

基于不同的数据应用需求，物联网平台需要向不同数据库保存数据：HBase中的数据用于实时查看和页面数据展示，HDFS中的数据用于数据清洗、数据分析和数据挖掘。当其中某个数据库的数据出现问题时，可以用其他数据进行补充和恢复。本发明是基于java+spring+mysql+hbase混合开发框架，在HDFS数据缺失的场景下，用HBase数据进行恢复。数据源从hbase获取，基础数据从mysql获取写入缓存，提高运行效率，配置信息写入xml文件，使变更配置信息更方便快捷。通过循环遍历，将需要补充的数据，按文件大小均匀分块，落地到hdfs////，方便后续进行数据清洗、分析和挖掘，维护数据的完整性和可靠性。

终端会实时采集设备工作状态、位置信息，将加密后的报文上传到物联网平台，物联网平台将报文解析成明文，通过flume将解析后的数据写入hbase和hdfs，实现存储、查询和分析功能。两种存储方式用途不同又互为补充，当其中一种出现问题时，当日没有数据或数据不完整，可从另一个数据库获取数据进行补充。造成hdfs数据丢失的原因有多种：第一，flume写入hdfs时出现故障、堵塞，没有及时处理；第二，hdfs数据文件被误操作，无法进行恢复；第三，数据上报延迟，数据落地的路径不准确；第四，部分设备的数据丢失，需要后期进行补充等等。当出现这些事故时，不仅要及时处理故障，恢复系统正常运行，还要查漏补缺，及时补充缺失的数据，保证数据的完整性和可靠性，为数据分析和挖掘提供准确的数据依据。

在现有的解决方案中，是以客户为驱动。当数据报表发出以后，客户查看某台设备的数据，判断有数据问题，会寻求技术人员的帮助，技术人员经过一系列排查操作，确定是解析后的数据有缺失，此时会根据客户的反馈，将缺失数据的设备的加密报文进行重新解析落地，再将解析后的数据移动到对应日期的数据目录下。此种方式繁琐复杂，处理过程时间长，严重影响客户的使用感，造成客户对数据的不信任。

由于此方案是在报表数据计算出来后进行统计，有一定的滞后性，无法在数据文件出现问题时及时修复。另外，数据补充需要一定的时间，完成后报表数据需要重新计算。如果当日需要补偿的数据量过大，会造成报表数据展示延迟，给客户造成不便。

经检索发现，公开号CN113721922A的中国专利于2021年11月30日公开了一种基于微服务的大数据物联网管理系统，所述大数据物联网管理系统包括：展现层，用于兼容浏览器和展示所述大数据物联网管理系统的各功能界面；网关层，用于为所述大数据物联网管理系统包含的各种服务功能提供统一入口，并在所述大数据物联网管理系统运行过程中，对所述为所述大数据物联网管理系统进行运行监控、授权、系统安全保护和资源调度；业务层，用于为所述大数据物联网管理系统运行提供基础系统功能服务和业务系统功能服务；数据层，用于存储所述大数据物联网管理系统运行过程中产生的业务数据、图片视频及文件数据和日志数据，其中，展现层和数据层完全分离，通过跨域实现前端数据和后端数据之间的通信。

但是该专利并没有考虑到对存储和管理的数据进行排查和修复，也没有考虑到大批量地数据补充会造成报表数据展示延迟的问题。

发明内容