[发明专利]一种流式数据处理方法和系统

摘要

本发明公开了一种流式数据处理方法和系统，通过将电子商务中大量流式数据抽取流式数据的概要特征数据，建立多条处理线程，经合概要特征数据并成多个数据集，并且对数据预先进行预处理，降低数据维度，合理计算参考数据与其他数据之间的数据相似度值，从而确定数据集中的每个数据是否具有较好的关联度，最终确定是否保留该数据。可以使得在面对流式数据量较大且高并发访问时，系统可以及时响应请求，过滤错误数据，询问时间减少，传输性能可以得到优化。

主权项

1.一种流式数据处理方法，其特征在于，所述方法包括：建立一个长度为S的窗口，利用处理器CPU单元从多条流式数据的当前窗口中抽取概要特征数据；利用处理器GPU单元建立多个线程并行处理单元，所述多个线程并行处理单元中的一个线程并行处理单元对应于所述多条流式数据中的一条流式数据；将所述概要特征数据合并形成多个概要特征数据集，其中每个所述概要特征数据集中的第一条记录为所述概要特征数据集的参考数据；对所述多个概要特征数据集中的数据进行预处理，降低所述数据的维度，删除冗余或者关联性不大的属性；对所述概要特征数据集的数据逐条遍历执行字符串匹配运算，将所述概要特征数据集的第一条记录与后面的记录进行比较；计算所述参考数据与所述概要特征数据集中其他数据的数据相似度值，将得到的数据相似度值Q与预设的参考数据相似度值进行比较，得到比较结果；根据所述比较结果确定所述其他数据是否保留，保留的数据为所述当前窗口的存档数据。