[发明专利]一种政务数据采集共享系统与方法

摘要

本发明提供一种政务数据采集系统，包括数据采集客户端、传输中间件和数据采集服务端，数据采集客户端设置有适配器、数据预处理单元、数据拆包单元和数据传输队列单元；数据采集服务端包括数据传输队列单元、数据组包单元、数据处理单元、数据分类单元和数据存储单元，其中，数据采集客户端采集的数据经传输中间件发送给数据采集服务端。本发明能够高效率的采集政务数据，可同时针对多种数据源的多种数据类型进行并发采集，并自动校验数据，生成数据的描述信息，打包存储转发，适合大规模进行数据采集。

主权项

一种政务数据采集系统，其特征在于，包括数据采集客户端、传输中间件和数据采集服务端，数据采集客户端设置有多个具有不同接入方式的适配器、数据预处理单元、数据拆包单元和第一数据传输队列单元；数据采集服务端包括第二数据传输队列单元、数据组包单元、数据处理单元、数据分类单元和数据存储单元，其中，多个适配器用于同时采集具有不同的数据传输协议的多种数据源，采集的数据源依次经过数据预处理单元、数据拆包单元和第一数据传输队列单元处理后，由传输中间件发送给数据采集服务端的第二数据传输队列单元，并依次通过数据组包单元、数据处理单元、数据分类单元和数据存储单元进行处理。