[发明专利]一种融合多渠道数据链式处理的系统

权利要求书

1.一种融合多渠道数据链式处理的系统，其特征在于，包括统一接收单元（100）、责任链处理单元（200）、数据链处理单元（300）和业务链存储单元（400）；

所述统一接收单元（100）用于提供统一链式处理入口，统一接收输入端的数据；

所述责任链处理单元（200）用于根据业务本身的复杂度将统一接收单元（100）接收的数据拆分成多个数据块；

所述数据链处理单元（300）用于依次接收所述责任链处理单元（200）的多个数据块，使数据块依次进入多个处理链路进行处理，处理链路包括数据校验链路、数据清洗链路、数据加工链路和数据融合链路；

所述业务链存储单元（400）用于存储所述数据链处理单元（300）处理后的数据块，将处理结果交予业务链，业务链继续向下执行，直到结束后返回给请求者处理的相关信息；

所述数据链处理单元（300）包括数据校验模块、数据清洗模块、数据加工模块和数据融合模块；

所述数据校验模块用于在数据校验链路验证数据块中数据的完整性；

所述数据清洗模块用于在数据清洗链路对数据块中数据进行重新审查，删除重复信息、纠正存在的错误，并提供数据一致性；

所述数据加工模块用于在数据加工链路进一步对数据清洗模块后的数据进行加工处理，将数据转换成规范、清晰、又易于分析的结构；

所述数据融合模块用于在数据融合链路接收所述数据加工模块处理后的多个数据块，将数据块的若干字段合成为一个新的字段，获取处理后的数据；

所述责任链处理单元（200）包括复杂度检测模块和数据分割模块；

所述复杂度检测模块用于计算接收数据的处理占用内存；

所述数据分割模块用于接收复杂度检测模块的结果，将数据分割成数据块处理占用内存小于处理内存限制值的多个数据块；

所述复杂度检测模块的计算公式为：

m=n*m1

其中，m为接收数据的占用内存，n为数据元数目，m1为每个数据元的大小；

所述数据分割模块采用聚类分割算法，包括以下步骤：

输入接收数据，采用K-means聚类将接收数据进行分类；

根据聚类中心确定适应性值函数，使分类的数据适应性值大于规定阈值，则终止分类；

将分类的数据划分，生成多个数据块。

2.根据权利要求1所述的融合多渠道数据链式处理的系统，其特征在于：所述统一接收单元（100）采用网关对请求分发路进行协调统一，经过多个过滤器处理请求，包括前置过滤器、路由过滤器、后置过滤器和错误过滤器。

3.根据权利要求1所述的融合多渠道数据链式处理的系统，其特征在于：所述数据链处理单元（300）采用链式处理算法，包括以下步骤：

数据块依次进入多个处理链路；

检测当前处理链路中请求者提交的数据块是否完成处理任务；

否则在当前处理链路中继续处理数据，直至发出完成信号，将数据块交予当前处理链路中下一个处理链路；

重复上述步骤，直至数据块依次经过多个处理链路，输出数据。

4.根据权利要求1所述的融合多渠道数据链式处理的系统，其特征在于：所述业务链存储单元（400）采用链式存储结构。