[发明专利]用于实时处理异常数据的方法及装置

说明书

本申请公开了一种用于实时处理异常数据的方法及装置，包括：接收节点异常信息并启动数据节点对应的备用接口并将备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；接收第一状态码并将储存在本地的原有格式的数据取出写入到消息队列；接收写入异常信息并将数据节点中的信息直接以原格式放入消息队列并标注第二状态码。本申请可以将流数据完整的获取，具有实时性，整个管理由系统自动完成，只需要一个人，每天定时看一下新增的二级节点即可，为后续各种的流处理平台提供可靠的数据来源。

技术领域

本申请涉及数据处理技术领域，具体涉及一种用于实时处理异常数据的方法及装置。

背景技术

随着网速发展越来越快，需要实时数据支撑的场景将会是热门方向，流数据的使用方式部分是延续之前的批处理方案，每过一段时间根据存储顺序将数据拿出来，或是将数据放在队列中实时取用，其中通过对每一批数据的数量和时间戳来判断数据的完成性，使用内存数据库或者文件的形式传递数据信号，根据信号来判断是否出现流数据。

沿袭批处理方案，会导致数据之间出现时间差，批处理方案只能减小时间差不能取消时间差，放置队列使用流处理，会出现丢失数据的现象，报警只能发现问题不能解决问题，传统数据信号传递是线性的，过去的数据无法再次获取到。

发明内容

为此，本申请提供一种用于实时处理异常数据的方法及装置，以解决现有技术存在的使用流处理会出现数据丢失的现象以及过去的数据无法再次获取到的问题。

为了实现上述目的，本申请提供如下技术方案：

第一方面，一种用于实时处理异常数据的方法，包括：

向内存队列发送心跳信息，并实时监控所述内存队列；

判断所述内存队列里面的信息是否正常；

若异常，则将异常信息发送给管理平台；所述管理平台启动数据节点对应的备用接口并将所述备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；

若正常，则初步验证数据并标注数据状态；

将数据和数据状态发送至下游；下游判断数据状态是否正常，若正常，则直接写入，若异常，则查看第一状态码，并将所述第一状态码返回至所述管理平台，所述管理平台将储存在本地的原有格式的数据取出写入到消息队列；

实时监控写入结果；

若写入正常，则直接将正常码写入日志；

若写入异常，则将异常信息写入所述内存队列，并将写入异常发送至所述管理平台，所述管理平台将所述数据节点中的信息直接以原格式放入所述消息队列并标注第二状态码。

作为优选，所述向内存队列发送心跳信息时每隔500毫秒发送一次。

作为优选，所述管理平台生成一个新的备用接口时是采用哈希算法生成的。

作为优选，所述管理平台将所有的异常信息通过邮件的形式通知管理员进行处理。

作为优选，所述初步验证数据并标注数据状态的同时将数据原本的格式写入到本地文件中。

第二方面，一种用于实时处理异常数据的装置，包括：

心跳发送模块，用于向内存队列发送心跳信息；

实时监控模块，用于实时监控所述内存队列，并判断所述内存队列里面的信息是否正常；

若异常，则将异常信息发送给管理平台；所述管理平台启动数据节点对应的备用接口并将所述备用接口标注为主接口，将原来的主接口降级为二级备用接口，并生成一个新的备用接口；

若正常，则直接跳过；