[发明专利]一种心跳数据处理方法、装置、集群及介质

说明书

本申请公开了一种心跳数据处理方法，包括：接收物联网IoT设备上报的心跳数据序列，所述心跳数据序列包括多条第一心跳数据；利用Flink状态函数将所述心跳数据序列中满足预设条件的第一心跳数据合并，得到第二心跳数据；存储所述第二心跳数据，以便于基于所述第二心跳数据进行数据分析。该方法通过充分利用Flink状态函数，对心跳数据序列中满足预设条件的第一心跳数据进行合并，如此可以实现满足第一预设条件的第一心跳数据共用数据头，如此可以有效减少数据的规模，降低数据的存储量级，进而降低数据存储压力，减少负载。

技术领域

本发明涉及物联网(Internet of Things，IoT)技术领域，尤其是涉及一种心跳数据处理方法、装置、集群及介质。

背景技术

随着计算机技术的发展以及用户需求的提高，将各种各样的设备接入互联网，形成物联网IoT成为一种主流的趋势之一。IoT即“万物相连的互联网”，是互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络，实现在任何时间、任何地点，人、机、物的互联互通。

为了实现互联互通，IoT中的设备(以下称作IoT设备)例如是电灯、冰箱、空调等通常需要定期发送心跳数据至物联网引擎。物联网引擎存储该心跳数据，并基于心跳数据确认该IoT设备仍然在线。

目前，物联网引擎通常以时序数据库方式保存心跳数据，或者是保存至 Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)。随着数据量级快速增长，存储压力持续增加。

以单台IoT设备每分钟上报一次心跳数据来计算，每天每台IoT设备上报的心跳数据的数据量为：1440条。如果物联网中包括1000万台IoT设备，每天上传的心跳数据的数据量则达到144亿条，占用存储空间约为4太字节 (Terabyte，TB)。如果心跳数据保存30天，则需要120TB的存储空间。另外，为了保障数据安全，时序数据库、HDFS等分布式系统通常采用3备份的存储方式，所以总共需要360TB的存储空间。如此，对于心跳数据的提取、分析使用都带来很高的负载。

业界亟需提供一种心跳数据处理方法，以实现心跳数据的高效存储，降低存储压力和负载。

发明内容

本申请的目的在于提供一种心跳数据处理方法、装置、计算机集群、计算机可读存储介质以及计算机程序产品，能够对心跳数据进行处理，以实现心跳数据的高效存储，从而降低存储压力和负载。

第一方面，本申请提供了一种心跳数据处理方法，包括：

接收物联网IoT设备上报的心跳数据序列，所述心跳数据序列包括多条第一心跳数据；

利用Flink状态函数将所述心跳数据序列中满足预设条件的第一心跳数据合并，得到第二心跳数据；

存储所述第二心跳数据，以便于基于所述第二心跳数据进行数据分析。

在一些可能的实现方式中，所述利用Flink状态函数将所述心跳数据序列中满足预设条件的第一心跳数据合并，得到第二心跳数据，包括：

利用Flink状态函数将所述心跳数据序列中连续N个周期上报的第一心跳数据合并，获得第二心跳数据。

在一些可能的实现方式中，所述方法还包括：

将合并后的心跳数据中用于表征状态的字符修改为二进制数字，所述第二心跳数据包括所述二进制数字。

在一些可能的实现方式中，所述方法还包括：

通过布隆过滤器或位图算法对所述第二心跳数据进行数据分析。

在一些可能的实现方式中，所述利用Flink状态函数将所述心跳数据序列中满足预设条件的第一心跳数据合并，得到第二心跳数据，包括：