[发明专利]一种智能网关数据存储部署方法、装置、设备及介质

说明书

本发明提供了一种智能网关数据存储部署方法、装置、设备及介质，包括：在网关进程启动时，开启主线程和三个子线程，获取数据库DB内的当天数据表，配置采集协议，触发网关进行采集任务；将采集完的数据通过接口进行解析，生成解析数据，将解析数据插入当天数据表内；当判断到上报线程回调触发周期时间达到后，查找报文组包进行上报，报文组包由数据库DB中预设周期内的近期数据记录组成；当判断到报文组包有效且与对接平台的通信不正常时，将报文组包存入数据库DB内的缓存表中；当判断到报文组包有效且与对接平台的通信正常时，将报文组包发送给对接平台。此外，现有数据处理方案存储存在需要拆分文件，以及容易触发句柄分配个数不足等问题。

技术领域

本发明涉及智能网关数据存储技术领域，具体涉及一种智能网关数据存储部署方法、装置、设备及介质。

背景技术

当前随着大数据时代的降临，诸如mqtt，http,coap等协议平台需要将多个地理位置的终端设备数据采集，解析，转换之后呈现给用户以实现高效的监控，而这整个过程中需要确保一些重要数据不易丢失，在网络不够顺畅的地带，断点续传跟历史数据上报等功能都是必须具备的，并且为了满足大数据的高效处理，现有的数据处理方案是通过定期定量将获取到的底层数据保存到磁盘文件里面，然后根据不同情况去文本获取数据使用。但是由于该方案的文本保存方式比较单一，容错率不高，而且数据插入方式不是通过链式存储，会导致查询大容量文本效率低下；简单来说，现市面上的数据处理方案存储的数据只能通过尾部追加方式，而且文件容量达到一定阈值就需要拆分避免查询数据效率低下，当文件个数扩大到一定程度也容易触发句柄分配个数不足等问题。

有鉴于此，提出本申请。

发明内容

有鉴于此，本发明的目的在于提供一种智能网关数据存储部署方法、装置、设备及介质，能够有效解决现有技术中的数据处理方案存储的数据只能通过尾部追加方式，而且文件容量达到一定阈值就需要拆分避免查询数据效率低下，当文件个数扩大到一定程度也容易触发句柄分配个数不足等问题。

本发明公开了一种智能网关数据存储部署方法,包括：

在网关进程启动时，开启主线程和三个子线程，获取数据库DB内的当天数据表，并配置采集协议，触发网关进行采集任务；

将采集完的数据通过接口进行解析，生成解析数据，并将所述解析数据插入所述当天数据表内；

当判断到上报线程回调触发周期时间达到后，查找报文组包进行上报，其中，所述报文组包由所述数据库DB中预设周期内的近期数据记录组成；

当判断到所述报文组包有效且与对接平台的通信不正常时，将所述报文组包存入所述数据库DB内的缓存表中；

当判断到所述报文组包有效且与对接平台的通信正常时，将所述报文组包发送给对接平台。

优选地，三个子线程分别为配置线程、采集线程以及显示线程，其中，所述主线程用于进行对接平台上报操作，所述配置线程用于进行自动化操作，所述采集线程和所述显示线程用于进行数据库读写操作。

优选地，获取数据库DB内的当天数据表，并配置采集协议，触发网关进行采集任务，具体为：

当判断存储设备里数据库DB不存在时，创建数据库DB；

当判断存储设备里数据库DB存在时，判断当天数据表是否存在；

若否，创建当天数据表，并在所述显示线程的死循环内部设置一个定时器，其中，当所述定时器定时结束时，自动创建新的当天数据表，并且当数据表的数量达到预设值时，删除日期最早的当天数据表；

配置采集协议，触发网关进行采集任务，其中，将寄存器数据的数据ID作为唯一标识。

优选地，将采集完的数据通过接口进行解析，生成解析数据，并将所述解析数据插入所述当天数据表内，具体为：