[发明专利]一种GPU上数据流处理系统及其数据流处理方法

说明书

技术领域

本发明涉及一种GPU上数据流处理的技术领域，具体地说是一种GPU上数据流处理系统及其数据流处理方法。 

背景技术

GPU(Graphic Processing Unit)，中文翻译为“图形处理器”。GPU是显卡的“心脏”，也就相当于CPU在电脑中的作用。GPU具有相当高的内存带宽，以及大量的执行单元，它可帮助CPU进行一些复杂的计算工作，使显卡减少了对CPU的依赖。 

传统上，GPU的应用被局限于处理图形渲染计算任务，无疑是对计算资源的极大浪费。随着GPU可编程性的不断提高，利用GPU完成通用计算的研究渐渐活跃起来。将GPU用于图形渲染以外领域的计算成为GPGPU（General-purpose computing on graphics processing units，基于GPU的通用计算）。GPGPU计算通常采用CPU+GPU异构模式，由CPU负责执行复杂逻辑处理和事务管理等不适合数据并行的计算，由GPU负责计算密集型的大规模数据并行计算。这种利用GPU强大处理能力和高带宽弥补CPU性能不足的计算方式在发掘计算机潜在的性能，在成本和性价比方面有显著优势。但是传统的GPGPU受硬件可编程和开发方式的制约，应用领域受到了限制，开发难度也很大。 

2007年，由NVIDIA推出的CUDA（Compute Unified Device Architecture，统一计算设备架构）， 这一编程接口弥补了传统GPGPU的不足。利用CUDA编程接口， 可以用C语言直接调用GPU资源， 而无需将其映射到图形API， 为GPU的非图形编程普及消除了障碍。 

CUDA模型将CPU作为主机（Host），GPU作为协处理器（co-processor）或设备(device),两者协同工作。CPU负责进行逻辑性强的事物处理和串行计算，GPU则专注于执行高度线程化的并行处理任务。CPU、GPU各自拥有相互独立的存储器地址空间：主机端内存和设备端显存。一旦确定了程序中的并行计算函数（kernel），就考虑把这部分计算交给GPU。 

（数据流的定义）数据流实际上就是连续移动的元素队伍，其中的元素是由相关数据的集合组成。令t表示任一时间戳，at表示在该时间戳到达的数据，流数据可以表示成{…，at1，at，at+1，…}.区别于传统应用模型，流数据模型具有以下4点共性:（1）数据实时到达;（2）数据到达次序独立，不受应用系统所控制;（3）数据规模宏大且不能预知其最大值;（4）数据一经处理，除非特意保存，否则不能被再次取出处理，或者再次提取数据代价昂贵。 

同时，流是以双重身份出现的：（1）作为一个软件可见的程序变量存在。（2）作为一个硬件可见的管理单位存在。实际应用中流往往具有很多属性，当流被映射到硬件中时，这些属性仍然被保持或者变个形式被硬件所见。 

现有技术的数据挖掘中，为了消除数据中的噪音、空值和异常值等错误数据，以保证结果的准确性，通常会在挖掘数据库中的静态数据集之前进行预处理操作；当然，数据流中也避免不了各种错误数据，为了提高挖掘结果的精确度，对其进行预处理也是十分必要的。然而数据流挖掘一般都是在线进行的，无法在挖掘前预处理数据。 

GPU并行计算如何在数据流挖掘领域应用？在计算资源受限的环境下，如何保证数据流处理的实时性和通用性。 

发明内容

本发明的技术任务是提供一种具有显著的速度优势，很好地满足了高维数据流的实时性需求，可以作为通用的分析方法广泛应用于高维数据流挖掘领域的一种GPU上数据流处理系统及其数据流处理方法。 

本发明的技术任务是按以下方式实现的， 

数据源输出的是高维的时间序列数据流，经数据流处理系统处理后，再输出给客户端的是数据流的频繁模式或查询结果。

一种GPU上数据流处理系统，数据源（data sources）的数据流通过数据流处理系统至客户端（client），数据流处理系统包括CPU主机（CPU-Host）和GPU设备（GPU-Device）；