[发明专利]一种面向政府决策的政务大数据分析方法及设备

说明书

本申请公开了一种面向政府决策的政务大数据分析方法及设备，用以解决政务数据不能得到有效的整合、分析和应用的技术问题。方法包括：确定与政务数据相关的目标数据源，并配置爬取规则，对目标数据源进行数据爬取；对爬取到的数据进行批量清洗，并存储至数据仓库中；根据与政务数据相关的层级划分指标和分类汇总指标，构建多维数据挖掘模型；基于多维数据挖掘模型，对数据仓库中的数据进行多维挖掘和分析，并对分析结果进行展示。本申请通过上述方法能够获取可利用的政务数据，并对其进行整合、分析和挖掘，不仅提高了政务数据的利用率，同时还实现了对政务数据深层次的分析处理，从而为政府部门的决策工作提供价值性参考。

技术领域

本申请涉及数据处理领域，尤其涉及一种面向政府决策的政务大数据分析方法及设备。

背景技术

随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长。大数据的整合分析在公共交通、公共安全、社会管理等领域已经进行了一定的应用，推动了社会科学与自然科学等跨科学研究的发展。而我国信息数据资源80％以上掌握在各级政府部门手里，这些政府数据却没有得到进一步的规划和利用，造成了资源的浪费。

因此，如何将传统的统计技术与计算机技术相结合，实现对政务数据的整合、分析和挖掘，并应用至政府相关部门的决策工作中去，已经成为一个亟待解决的问题。

发明内容

本申请实施例提供了一种面向政府决策的政务大数据分析方法及设备，用以解决政务数据不能得到有效的分析、挖掘和应用，从而造成数据资源浪费的技术问题。

一方面，本申请实施例提供了一种面向政府决策的政务大数据分析方法，包括：确定与政务数据相关的目标数据源，并配置爬取规则，对目标数据源进行数据爬取；对爬取到的数据进行批量清洗，并存储至数据仓库中；根据与政务数据相关的层级划分指标和分类汇总指标，构建多维数据挖掘模型；基于多维数据挖掘模型，对数据仓库中的数据进行多维挖掘和分析，并对分析结果进行展示。

在本申请的一种实现方式中，对爬取到的数据进行批量清洗之前，方法还包括：对目标数据源进行随机抽样，并与爬取到的数据进行匹配校验；在爬取到的数据通过校验的情况下，将数据存储至本地数据库中。

在本申请的一种实现方式中，对爬取到的数据进行批量清洗，具体包括：从本地数据库中抽取爬取到的数据；对爬取到的数据进行空值填充和重复值过滤；将过滤后的数据统一转换为预设格式，并对存在转换的数据进行再过滤。

在本申请的一种实现方式中，对分析结果进行展示，具体包括：确定层级划分指标中指定的行政区域级别、时间，以及分类汇总指标中指定的类别；根据预设展示形式，对时间内相应行政区域对应的汇总指标的政务数据分别进行展示；其中，预设展示形式至少包括以下任意一项：折线图、柱形图、扇形图、表格。

在本申请的一种实现方式中，对数据仓库中的数据进行多维挖掘和分析，具体包括：根据行政区域级别，对时间内相应行政区域对应的汇总指标的政务数据，以及时间内相应的指定的类别的政务数据进行下钻查询；和/或添加指定关键字，并通过关键字进行自定义查询；和/或确定层级划分指标中指定的行政区域、时间和分类汇总指标中指定的类别，进行组合查询。

在本申请的一种实现方式中，方法还包括：根据数据仓库中的数据对应的元数据，确定待建立的索引；以数据包为单位构建列存储结构，建立数据仓库对应的索引。

在本申请的一种实现方式中，爬取到的数据包括文章；方法还包括：根据用户的地理位置和预设距离阈值，确定地理位置范围；根据地理位置范围内各文章的点击量和收藏量，计算文章对应的推送系数；根据文章的推送系数，向用户推送文章。