[发明专利]一种流事件的处理方法及装置

说明书

本发明涉及一种流事件的处理方法及装置，用于避免发生流事件的溢出和遗漏。该方法为：设计了流队列和数据库的双层缓存池，在捕获到流事件后，先确定所述流事件的事件类型对应的流队列，若所述流队列中没有空闲空间，则将所述流事件保存至所述流队列在数据库中对应的存储空间内，以及在确定满足预设条件时，将所述流事件读取至所述流队列中等待处理，同时，还需要根据流队列的使用情况对流队列的队列长度进行适应性调整；这样，可以在高并发的流事件到达时，快速接收流事件并进行保存，防止了因流队列溢出而造成的流事件的丢失和遗漏，保证了系统的处理性能和处理效率，同时，又可以灵活控制流事件存储空间大小，减少资源浪费。

技术领域

本发明涉及计算机技术，特别涉及一种流事件的处理方法及装置。

背景技术

目前，实时流事件并发处理方法按照系统架构可以分为基于web架构的网络处理方法和基于操作系统的客户端处理方法。

基于web架构的网络处理方法技术比较成熟，通常是通过监听网络端口获取流事件相关信息并进行处理。然而，基于web架构的网络处理方法技术很难处理大数据的实时流事件，以睡眠监测数据为例，其原因如下：

大数据的实时显示，要求足够的数据存储空间，即使将睡眠监测数据按时间切片后存储，每个片段的大小也在10M左右。对于基于web架构的网络处理方法而言，其主要是通过浏览器方式进行显示，而浏览器的存储空间一般是在内存中，且实时显示数据的空间大小一般控制在5-10M。因此，若需要显示多个待显示片段，则需要通过浏览器在多个待显示片段之间频繁切换；由于每个待显示片段的数据量较大，因此，会造成系统负荷过大，数据加载不全等问题。

进一步的，针对高并发的实时流事件进行处理，要求高效获取流事件并进行分析。而基于web架构的网络处理方法，其事件通信方式取决于底层网络的质量，在高并发流事件的传输过程中，容易导致丢包、漏包、无序包等问题。基于上述缺点，目前处理睡眠监测数据这一类具有高实时性、高并发性的流事件时，更倾向于采用基于操作系统的客户端处理方法。

而基于操作系统的客户端处理方法，通常是通过监听操作系统获取流事件信息并进行处理。

参阅图1所示，客户端处理流事件大致流程如下下：

A、读取各类系统事件包含的若干流事件，并将获得的若干流事件保存在系统队列中。

具体的，系统运行过程中会产生各类系统事件，如，帧变更事件、睡觉监测事件等等。而一类系统事件的处理过程往往包含若干步骤，这些步骤可以视为流事件，如，睡眠监测过程中实时产生的各阶段的生理数据及相关处理操作便可视为流事件。

系统获取了各类事件对应的流事件后，先统一保存在系统级队列中。

B、分别确定各类事件所关联的应用程序，以及将各类事件包含的流事件保存至相应的应用程序的消息队列中。

如图1所示，不同类型的系统事件需要采用不同的应用程序处理，而系统预先会在缓存区中对应每一种应用程序设置相应的消息队列，并将捕获的各个类型的流事件存储相应的消息队列中。

C、通过各个应用程采用过轮询方式，从相应的消息队列中获得流事件进行业务处理。

D、采用回调函数方式，将获得的各个处理结果通过视窗进行显示。

然而，基于操作系统的客户端处理方法也存在以下缺陷：消息队列的大小固定，容易造成流事件的溢出和遗漏。

在接收系统事件时，先通过系统队列和消息队列存储在内存中。而单个队列的长度一般受到内存限制。

针对高并发的流事件进行存储时，很容易在流事件被密集捕获时，出现系统队列存储空间不够的情况，从而造成之后捕获的流事件的溢出以及被系统丢弃，最终导致系统事件无法得到响应。