[发明专利]一种政务数据采集共享系统与方法

说明书

本发明提供一种政务数据采集系统，包括数据采集客户端、传输中间件和数据采集服务端，数据采集客户端设置有适配器、数据预处理单元、数据拆包单元和数据传输队列单元；数据采集服务端包括数据传输队列单元、数据组包单元、数据处理单元、数据分类单元和数据存储单元，其中，数据采集客户端采集的数据经传输中间件发送给数据采集服务端。本发明能够高效率的采集政务数据，可同时针对多种数据源的多种数据类型进行并发采集，并自动校验数据，生成数据的描述信息，打包存储转发，适合大规模进行数据采集。

技术领域

本发明涉及数据采集领域，具体涉及一种政务数据采集系统及其方法。

背景技术

随着电子办公化的普及，各政府部门也加入了此行列。由于政府部门常常需要通过网络发布各种与人们日常生活息息相关的信息，因此，与政府部门相关的政务数据采集成为政府部门有效开展工作的重要工作。

目前，各级地方政府的数据不是统一开放的，政务数据的采集存在多源头、多类型和多渠道等问题，难以有效的进行政务数据的采集。

发明内容

针对上述技术问题，本发明提供一种能够有效进行政务数据采集的政务数据采集系统及其方法。

本发明采用的技术方案为：

本发明的一实施例提供一种政务数据采集系统，包括数据采集客户端、传输中间件和数据采集服务端，数据采集客户端设置有多个具有不同接入方式的适配器、数据预处理单元、数据拆包单元和第一数据传输队列单元；数据采集服务端包括第二数据传输队列单元、数据组包单元、数据处理单元、数据分类单元和数据存储单元，其中，多个适配器用于同时采集具有不同的数据传输协议的多种数据源，采集的数据源依次经过数据预处理单元、数据拆包单元和第一数据传输队列单元处理后，由传输中间件发送给数据采集服务端的第二数据传输队列单元，并依次通过数据组包单元、数据处理单元、数据分类单元和数据存储单元进行处理。

可选地，数据预处理单元用于过滤掉采集的数据源中的无效数据和脏数据并将有效数据进行缓存；数据拆包单元用于将经数据预处理单元处理后的数据按照预设拆包协议格式进行拆分，拆分成多个个体较小的的数据包，并记录整个数据包的描述信息以及每个拆分后小数据包的描述信息，最终将这些描述信息与拆分后的数据包一并发送到第一数据传输队列单元；第一数据传输队列单元用于将经数据拆包单元处理后的数据进行排队并发送到传输中间件。

可选地，整个数据包的描述信息包括数据标识、数据名称、数据内容描述、数据发布时间、数据所属分类信息、数据关键字信息、数据定义版本、数据更新版本、数据提供单位、数据提供机构信息和数据定义信息、唯一ID值和整个数据包的MD5值；小数据包的描述信息包括所属整个数据包的UUID值、小数据包的MD5值、小数据包所属整个数据包的顺序、小数据包的名称、小数据包的大小。

可选地，传输中间件通过多线程的异步非阻塞方式将数据采集客户端的第一数据传输队列单元中的数据包发往数据采集服务端的第二数据传输队列单元中。

可选地，第二数据传输队列单元用于接收由传输中间件传输过来的数据包；数据组包单元用于将第二数据传输队列单元接收的零散的数据包按照预设组包协议格式进行组装成原数据包；数据处理单元用于将数据组包单元组装的原数据包进行数据业务关联，形成价值数据；数据分类单元用于将经数据处理单元处理后的数据分为结构化数据、半结构化数据和非结构化数据；数据存储单元用于将不同类型的数据分类进行分布式异构存储，其中，结构化数据采用关系型数据库，半结构化数据采用Mongodb和NFS方式进行存储，非结构化数据采用Hadoop集群的方式进行存储。

本发明的另一实施例提供一种政务数据采集方法，包括以下步骤：