[发明专利]一种多维数据采集和精确关联的系统及其方法

说明书

本发明涉及大数据信息采集分析领域，且公开了一种多维数据采集和精确关联的系统及其方法，包括多维数据采集单元、数据仓库单元、数据治理单元、数据关联单元和关联评分单元；多维数据采集单元和数据治理单元，数据治理单元和数据仓库单元、数据关联单元交互，数据关联单元和数据仓库单元、关联评分单元交互，关联评分单元和数据仓库单元交互。该种多维数据采集和精确关联的系统及其方法采用数据高效采集和治理方法、多维数据精确关联和评分，本发明具有支持海量数据；数据采集效率和吞吐量高；多维数据关系更精确；系统可扩展优点和积极效果。

技术领域

本发明涉及大数据信息采集分析领域，具体为一种多维数据采集和精确关联的系统及其方法。

背景技术

2020年5月27日，由大数据战略重点实验室研究编著、社会科学文献出版社出版的大数据最新理论成果《大数据蓝皮书：中国大数据发展报告No.4》在国家大数据(贵州)综合试验区展示中心网络首发，该书创造性地提出“数博指数”，亦称“贵阳指数”，通过指数构建和数据分析，真实、客观反映国家、地区和城市大数据发展和建设的发展现状、特点、趋势，展示地区数字中国建设取得的成就和问题，据了解《大数据蓝皮书：中国大数据发展报告No.4》是我国首部针对大数据领域进行全面梳理和总结的蓝皮书，自2017年首次编撰出版，至今已连续出版四册，作为每届数博会期间对外发布的重要理论创新成果，获得了业界和社会的广泛关注。

在公安行业，大数据应用也是非常广泛，但是由于数据种类繁多，数据量大，导致数据采集效率低下，各类数据无法进行有效的关联，无法将各类信息关联起来形成一个人的画像，这个问题已经存在很多年，是一个亟待解决的问题，因此就需要一套高效的海量数据裁采集和多维数据关联的系统，系统对多维数据实现统一高效的采集，对多维数据进行精准的关联评分，最后将实现多维数据的高效关联和人物画像的刻画，彻底改变以往的数据分析模式，实现了多个维度的数据追踪和分析。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种多维数据采集和精确关联的系统，具备时效性强、算法简单高效、算法稳定精确、高可用和可扩展等优点，解决了背景技术提出的问题。

（二）技术方案

为实现上述时效性强、算法简单高效、算法稳定精确、高可用和可扩展的目的，本发明提供如下技术方案：一种多维数据采集和精确关联的系统，包括多维数据采集单元、数据仓库单元、数据治理单元、数据关联单元和数据评分单元；多维数据采集单元和数据治理单元，数据治理单元和数据仓库单元、数据关联单元交互，数据关联单元和数据仓库单元、数据评分单元交互，数据评分单元和数据仓库单元交互；所述的多维数据采集单元包括多维数据采集1、2……N模块，N是自然数，2≤N，所述的数据仓库单元是公共的数据存储单元，为数据治理单元、数据仓库单元和数据关联单元提供数据源和持久化方案，所述的数据治理单元包括依次交互的数据解析模块、数据校验模块、数据格式化模块，所述的数据关联单元包括依次交互的数据抽取模块、数据转换模块、数据消息化模块和数据关联算法，所述的数据评分单元包括依次交互的关联数据抽取模块和关联数据评分算法。

优选的，所述的多维数据采集单元其工作流程是：多维数据采集1、2……N模块主要采集与人相关的一些信息，包括但不限于手机信息、人脸信息、车牌信息、购物信息等；多维数据采集1、2……N模块与设备交互的方式包括但不限于UDP协议、HTTP协议、FTP协议等。

优选的，所述数据仓库单元其工作流程是：提供通用数据持久化方案，为各个单元提供统一的存储接口；提供海量数据源，为各个单元提供统一且高效的数据抽取服务。