[发明专利]多用户环境下流式数据处理方法

说明书

多用户环境下流式数据处理方法，涉及计算机数据处理技术。本发明包括下述步骤：1)自数据流中读取数据内容，按读取顺序存储到内存环中的存储区；2)若接收到用户数据请求，则根据用户请求的优先级，将用户请求加入请求队列；3)按照队列顺序处理用户请求，在内存环中检索请求中的数据内容，若检索出符合请求的数据，进入步骤4)；若未检索出符合请求的数据，则进入步骤5)；4)向该用户返回其请求的数据在内存环中的地址指针；5)等待预定时长后将该用户请求重新加入请求队列，若经过预定次数或预定时长后依然未检索出符合请求的数据，则向用户返回提示信息。本发明降低了系统资源的消耗。

技术领域

本发明涉及计算机数据处理技术。

背景技术

流式数据，又叫做流水数据，是一组顺序、连续到达的数据序列,一般情况下,流式数据可被视为一个随时间延续而无限增长的动态数据集合；严格意义上讲，由数千个数据源持续生成的数据，通常也同时以数据记录的形式发送，数据规模时时变化的数据形式。同时，流式数据的特点：

1)数据传输实时性；

2)数据传输顺序独立性，不受外部因素所控制；

3)数据规模不确定性，不能预知其最大值或者最小值；

4)数据回溯难度高，一经处理，除非特意保存，否则不能被再次取出，或者再次提取数据代价高。

基于流式数据自身的特点，其在内存中处理难度就显得尤为突出。随着互联网、物联网的不断发展，同时在网络监控、传感器网络、航空航天、气象测控和金融服务等领域广泛存在，人们对流式数据的处理需求也日渐增多。

在多用户的环境下，不同的用户对数据流中的元数据有不同的要求，共享内存机制是现阶段比较常见的流式数据内存处理方式如图1所示，以共享内存方式实现用户间数据的处理(IPC)，用户A创建内存块，映射共享内存数据，把指定的共享数据映射到用户的地址空间用于访问；用户B创建共享内存，映射共享内存数据，把指定的共享数据映射到用户的地址空间用于访问，映射成功后就能从用户的内存中读出数据，以此类推。这样能够有效保护元数据的完整性和正确性，但也不可避免的造成了系统资源的过多消耗，降低了系统效率，随着数据量的不断增大，该问题越发明显和严重。同时由于该机制是动态地从内存中申请，在数据量操作频繁的系统中，也带来了系统实时性和内存碎片等问题。

共享内存机制实现用户间通信，一般采用的步骤有：

A用户：

1)创建命名的共享内存，包含N个固定大小为X的块区域。

2)创建内部线程同步机制阻止多个线程同时获得数据块，创建运行条件；

3)等待信号，当前块可读；

4)从内存中读取该内存块，读完之后标识它们再次可写；

5)转到步骤3)。

B线程：

1)创建命名的共享内存，包含N个固定大小为X的块区域；

2)创建内部线程同步机制阻止多个线程同时获得数据块，创建运行条件；

3)等待信号，当前块可读；

4)从内存中读取该内存块，读完之后标识它们再次可写；

5)转到步骤3)。

发明内容

本发明所要解决的技术问题是，提供一种具有更高处理效率的流式数据处理方法。

本发明解决所述技术问题采用的技术方案是，多用户环境下流式数据处理方法，其特征在于，包括下述步骤：