[发明专利]基于GPU的实时数据流高速匹配分析系统的设计

说明书

本发明提供一种实时数据流高速匹配分析系统的设计，尤其是利用GPU提高实时数据流匹配查询速度的设计。

背景技术

实时数据流检测和存储成为了数据流检测业务的瓶颈，如何设计出一种全新的海量数据阶段化存储装置，该装置的特点是可以将分布式工作站中的数据定期进行归类整理，并将工作人员需要查询匹配的实时数据流快速调用。并且存储机制中过期的数据流存储到独立的海量存储器中以备做长期数据挖掘推理分析的功能。

实时数据流的监测手段不断更新和对结果数据精确度的不断需求，使得对实时数据流与国家标准的准确、快速匹配分析成为了当前实时数据流监测业务需解决的问题。同传统的数据结构相比，数据流具有实时、连续、无限量等特点，数据流的这些特殊性给信息处理技术的研究与应用带来了新的机遇和挑战.数据流的特点决定了其主要查询匹配方式为连续查询匹配。连续查询是指当一个查询确立之后将长时间的连续执行，随着新数据的到达将不断地产生新的查询匹配结果。由于数据流是一系列离散状态的集合，如果采用传统基于CPU计算的数据库查询匹配方式，很多查询条件下难以快速得到准确的查询匹配结果，由于传统的数据流存储方式将海量数据流全部存入磁盘等存储介质，当执行查询匹配命令时需要进行大量的I/O操作，其响应速度慢，难以适应实时查询匹配的要求。实际上最新阶段的数据要比历史数据更加重要，所以在数据流匹配分析中人们关心的往往是最新阶段的数据。

发明内容

本发明提供一种实时数据流高速匹配分析系统的设计，特别是基于GPU的实时数据流高速匹配分析系统的设计，可用于便携式终端设备上对实时数据流进行高速匹配分析。

本系统主要包括数据流接收装置，海量数据阶段存储装置，一套完整的实时数据流高速匹配分析系统，无线通讯设备，以及移动智能终端；实现过程是这样的，观测卫星将观测结果作为数据流传给地面数据流接收站，台站将监测数据流传给数据流接收站，此两种形式的数据流接收装置接收了监测数据流，并将数据流存储到分布各地的工作站，海量数据阶段化存储装置负责把工作站上的数据分类规整并阶段化存储，之后当接收到移动智能终端的匹配分析请求时，系统首先检查用户是否被授权，确认无误后将从实时数据流高速匹配分析的系统中进行匹配分析处理，匹配分析结果由无线通讯设备负责与相应的代理商协定后，发送到移动智能终端设备上。本发明能够有效地在便携装置上对实时数据流进行匹配分析，匹配分析速度较快、准确率较高，特别适合外出作业的工程人员。

附图说明

图1为本发明所揭示的实时数据流高速匹配分析系统的示意图。

图2为本发明所揭示的实时数据流高速匹配分析系统的查询框架图。

图3为本发明所揭示的实时数据流高速匹配分析系统的查询流程图。

图4为本发明所揭示的实时数据流高速匹配分析系统的结构内部示意图。

具体实施方式

本发明所要解决的技术难点是怎样满足对实时数据匹配查询提供高速度、高精确度的数据流匹配分析机制，以应对各种数据流业务信息的应用需求。

如图1，提供实时数据流接收装置包括各种不同类别的监测装置、检测数据接收装置、工作站等设备。监测装置有观测卫星、台站等，面向不同领域会有不同的监测设备；每一个监测设备都有与之相对应的数据流接收装置，比如卫星检测数据接收站、台站数据接收站等。这些装置为我们提供了最原始的实测数据，这些数据会根据指令存储到分布式的工作站中，此时的数据并没有经过统一的数据预处理过程，由于数据量巨大，所以执行匹配分析指令时将会占用用户大量的等待时间，不适合外出工作人员随时查询调用。改进的方法采用海量数据阶段化存储装置和基于GPU的实时数据流高速匹配分析系统，对存储和计算速度都是一次飞跃性的改进和优化。

海量数据阶段化存储装置用来保存各工作站传送过来的数据流并阶段化的存储在分布式数据库中。这其中包括对原始数据的预处理，数据分类，入库的操作。数据预处理负责对传送的数据进行数据清洗、去噪声等操作，这一步的目的是减少数据冗余、数据不一致性，避免读取无效的脏数据。数据分类是将原始数据按属性信息和格式差异分类，比如台站数据和卫星监测数据是不同类别的数据，必须存储在不同的数据库中。数据分类完毕，接下来就是对这些数据执行入库操作。

基于GPU的实时数据流高速匹配分析系统主要包含中介器、匹配处理器。系统接受终端的查询请求，从异构数据库中获取数据。查询结果必须通过无线通讯硬件和无线通讯代理商的中转，才能返回到移动终端上。这里的无线通讯硬件实现将查询结果传递给代理商，由代理商负责将电磁信号转为数字信号，发送给终端请求。