[发明专利]一种GPU上数据流处理系统及其数据流处理方法

权利要求书

1.一种GPU上数据流处理系统，其特征在于数据源的数据流通过数据流处理系统至客户端，数据流处理系统包括CPU主机和GPU设备；

CPU主机包括CPU端加载引擎模块、CPU端缓冲模块、数据流预处理模块、数据流减负模块和可视化模块，CPU端加载引擎模块设置有装载或存储单元，CPU端缓冲模块设置有内存，CPU端加载引擎模块的装载或存储单元、数据流预处理模块、数据流减负模块和可视化模块均与CPU端缓冲模块的内存连接交互，CPU端加载引擎模块的装载或存储单元与可视化模块连接交互；

GPU设备包括GPU端加载引擎模块、GPU端缓冲模块、数据流概要抽取模块、数据流处理模型库和数据流处理模块，GPU端加载引擎模块设置有装载或存储单元，GPU端缓冲模块设置有显存，数据流概要抽取模块用于集成概要抽取方法供数据流处理模块调用，数据流处理模型库用于集成数据流处理算法供数据流处理模块调用，GPU端加载引擎模块的装载或存储单元、数据流处理模块均与GPU端缓冲模块的显存连接交互，数据流概要抽取模块、数据流处理模型库均与GPU端加载引擎模块的装载或存储单元连接，GPU端缓冲模块的显存中开辟有存储空间为滑动窗口；

CPU端加载引擎模块的装载或存储单元通过互联网络与数据源、GPU端加载引擎模块的装载或存储单元以及客户端的交互。

2.根据权利要求1所述的一种GPU上数据流处理系统，其特征在于CPU端缓冲模块还设置有用于管理内存的内存管理器，内存管理器内设置有输入监测器，输入监测器用于监视内存中临时存储未处理的数据流；CPU端加载引擎模块包括速度调节器、装载或存储单元和初始化集成器；速度调节器用于根据内存的缓存状态调整数据源的数据流流入CPU端加载引擎模块的装载或存储单元内的流速，速度调节器内设有反馈机制；初始化集成器用于集成CPU主机和GPU设备的初始化操作。

3.一种GPU上数据流处理方法，其特征在于数据源输出的数据流通过权利要求1或2中任意一种数据流处理系统处理后将数据结果传输至客户端；数据流的处理流程如下：

（1）、加载数据流：数据源中的数据流流入CPU端加载引擎模块的装载或存储单元，由CPU端加载引擎模块的装载或存储单元将数据流存储到CPU端缓冲模块的内存中；

（2）、数据流预处理：数据流预处理模块将内存中的原始数据流进行预处理，并把预处理过的数据流存入内存；

（3）、传输数据流：预处理过的数据流由内存至CPU端加载引擎模块的装载或存储单元，由CPU端加载引擎模块的装载或存储单元至互联网络，经互联网络到达GPU端加载引擎模块的装载或存储单元，再由GPU端加载引擎模块的装载或存储单元将其加载到显存的滑动窗口中；

（4）、数据流概要抽取：由数据流处理模块调用数据流概要抽取模块中的概要抽取方法，对滑动窗口中的数据流进行概要抽取，并将最终形成的概要数据结构存储到显存中；

（5）、数据流处理：由数据流处理模块调用数据流处理模型库中的数据流处理算法对概要数据进行处理，并把处理的数据结果存储到显存中；

（6）、传输数据结果：数据结果由GPU端缓冲模块的显存至GPU端加载引擎模块的装载或存储单元，由GPU端加载引擎模块的装载或存储单元发送至互联网络，经互联网络到达CPU端加载引擎模块的装载或存储单元，再由CPU端加载引擎模块的装载或存储单元将数据结果加载到内存，或者是由CPU端加载引擎模块的装载或存储单元将数据结果发送给可视化模块；

（7）、结果可视化：可视化模块将数据结果规范化之后发送给CPU端加载引擎模块的装载或存储单元，由CPU端加载引擎模块的装载或存储单元将数据结果展示给客户端。

4.根据权利要求3所述的一种GPU上数据流处理方法，其特征在于步骤（2）中，数据流预处理模块将内存中的原始数据流使用预处理方法进行预处理，预处理方法包括数据清洗方法、数据集成方法、数据变换方法和数据规约方法，使用的预处理方法可以为上述的一种方法，或者选择多种方法结合使用。