[发明专利]大规模并发数据流处理系统及其处理方法

说明书

技术领域

本发明涉及数据处理技术，特别是涉及一种大规模并发数据流处理系统及其处理方法的技术。

背景技术

随着信息技术的飞速发展和互联网技术应用的普及，网络已经成为人们日常生活中重要的一部分。近年来，3G网络和物联网技术应用的逐步展开为人们的生活、工作带来了极大的方便。然而，这些新技术的核心应用关键之一就是大规模并发数据流处理问题。所谓数据流就是从一个节点发往另一个节点的具有某种特征的数据单元构成的连续不断的信息流，数据流的处理和分析问题要求处理节点具有一定的实时处理能力。人们可以通过缓冲处理、并行处理机制来解决实时处理问题。然而，现实应用中的数据流并非一个，在两个处理节点间的数据流可能是成千上万个，这就形成了大规模并发数据流的处理需求。如3G通信视频流的质量实时分析问题，在这个问题中，数据抓取节点从3G骨干网络上同时抓去上万门3G通话的IP包，并还原成上万个H.264视频流，而3G视频质量分析系统需要提取这些视频流在某一时刻的上万个静态画面，并进行模糊度计算、块效应计算等工作。大规模并发数据流的实时处理问题给业界带来了极大的挑战。如何构建廉价的高性能处理装置是一个具有挑战性的研究课题。以流处理器为代表的新型计算装置为解决这些困难带来了曙光。流处理器是GPU走向通用计算领域的总称，因其内部采用上百个Stream processor并行架构而得名，其可以有效支持SPMD并行操作，非常适合做大规模并发数据流的处理工作，且其性能十分出众。

但是，由于同一个流处理器核心在同一时刻只能运行同一个核心程序，而同时到来的大规模并发数据流的成千上万个数据流单元却不一定具有同一处理特征，因而无法满足流处理器进行高性能处理的数据特征要求，无法使流处理器发挥其最大能力，进而提高处理效率。

发明内容

针对上述现有技术中存在的缺陷，本发明所要解决的技术问题是提供一种能发挥流处理器的最大能力，提高其处理效率的大规模并发数据流处理系统及其处理方法。

为了解决上述技术问题，本发明所提供的一种大规模并发数据流处理系统，其特征在于，包括：

数据流单元缓冲区，是一个二元组DSB（DSUB，MR），其中DSB为数据流单元缓冲区，DSUB及MR均是由p个元素构成的一维数组，p为并发数据流中的数据流数量，DSUB中的每个数组元素为一个DSU，MR中的每个数组元素是一个取值为0或1的整型数，该数组用于数据流流水处理的同步标志；

所述DSU是指数据流单元，一个数据流单元是一个九元组DSU（id，sno，segno，seq，t，type，prog，data，odata），其中DSU为数据流单元，id为该DSU的标识符，且该id具有唯一性，sno为该DSU的数据流号，segno为该DSU的数据流段号，seq为该DSU的在segno数据流段中的单元序号，用于表示其在数据流段中的位置，t为一个时间印，用于记载该DSU被处理的时刻，type为该DSU的类型，data为该DSU所承载的数据对象，odata为该DSU处理后的输出数据对象，prog是该DSU的data的处理程序；

所述数据流段是由多个seq连续的DSU构成的序列，记为DSS=｛DSU1，DSU2，DSU3，…，DSUn，DSUE｝，其中DSS为数据流段，每个DSS均有一个数据流段号segno被分别存储在构成该DSS的每个DSU中，DSS序列尾的DSUE为该DSS的结束标志，是一个type为常量值EOS的DSU，其prog、data、odata均为空；

所述数据流是由多个segno连续的DSS构成的序列，记为DS=｛DSS1，DSS2，DSS3，…，DSSo｝，每个DS均有一个数据流号sno被分别存储在构成该DS的各个DSS的DSU中；

所述并发数据流由多个并发传输的DS构成，每个DS均以DSU作为并发处理的单位，并以DSS作为多个数据流并发同步的单元；

数据流单元聚类队列池，由|TS|个DSU队列构成，记为CPOOL=｛DSUQ₁，DSUQ₂，…，DSUQ_|TS|｝，其中CPOOL为数据流单元聚类队列池，DSUQ为数据流单元聚类队列，TS为应用系统数据流单元类型集合，该集合是DSU类型的集合，TS中的元素个数为m，则|TS|=m，同一个DSU队列由同类型的DSU构成，这些DSU来自p个并发数据流的当前处理单元，有：                                                ；