[发明专利]一种基于大数据技术的全球智库数据开发与组织方法

摘要

本发明涉及数据开发与组织技术领域，尤其涉及一种基于大数据技术的全球智库数据开发与组织方法；方法包括如下步骤：通过Web信息采集系统对智库的数据进行自动化采集，并形成字段信息；通过对字段的定义和所描述对象的属性，形成一批相同类型的数据，对该类数据进行组织；创建数据体之间的关系；通过大数据处理技术，对这些数据进行预处理，使其成为有用的成品数据；通过关联挖掘技术和聚类挖掘技术寻找成品数据中数据项之间的关联关系，从大量的数据中找出隐藏的信息；通过可视化技术对数据进行展示，把数据隐藏的信息规律直观的展示出来；实现了技术的实质性提升，在先进性、新颖性、智能性、直观性等方面有着独特优势。

主权项

1.一种基于大数据技术的全球智库数据开发与组织方法，其特征在于，所述方法包括如下步骤：根据智库机构、智库动态、研究专家、研究成果，通过Web信息采集系统对智库的数据进行自动化采集，并形成不同的字段信息；通过对字段的定义和所描述对象的属性，并以关系型数据库建立的表结构为基础，形成一批相同类型的数据，对该类数据进行组织；进而创建数据体之间的关系；根据数据体之间的关系，将数据主要分为结构化数据、半结构化数据和非结构化数据，通过大数据处理技术，对这些数据进行预处理，所述预处理包括数据清洗、数据集成、数据变换以及数据归约，使其成为有用的成品数据；通过关联挖掘技术和聚类挖掘技术寻找成品数据中数据项之间的关联关系，让同类型的资源集中展示，深度挖掘出同类型资源的聚集效应，从大量的数据中找出隐藏的信息；通过可视化技术对数据进行展示，把数据隐藏的信息规律直观的展示出来，能够迅速和有效地简化与提炼数据流，使我们能够交互筛选大量的数据，完成数据分析。