[发明专利]一种大数据的数据管理系统实现方法

摘要

本发明公开了一种大数据的数据管理系统实现方法，其具体实现过程为：搭建分布式存储系统，并预留采集系统与该存储系统相连接的接口，让采集后的数据直接存储到该系统里；搭建具有MapReduce的分布式计算环境，并部署Nutch爬虫；搭建采集系统，并在计算机机器上部署执行节点和收割模块、调度节点、采集适配程序；搭建接口系统，该接口系统顺序包括权限认证模块、适配汇总模块、接口程序、数据调度转换模块以及分布式采集库，该大数据的数据管理系统实现方法与现有技术相比，可以通过结合权限的API接口，做到发布一次到处分享；通过API SDK可以快速进行二次开放定制；可以实现分布式数据采集和处理清洗功能，提供丰富的数据内容。

主权项

一种大数据的数据管理系统实现方法，其特征在于，其具体实现过程为：第一步，搭建分布式存储系统，并预留采集系统与该存储系统相连接的接口，让采集后的数据直接存储到该系统里；第二步，搭建具有MapReduce的分布式计算环境，并部署Nutch爬虫；第三步，搭建采集系统，并在计算机机器上部署执行节点和收割模块、调度节点、采集适配程序；第四步，搭建接口系统，该接口系统顺序包括权限认证模块、适配汇总模块、接口程序、数据调度转换模块以及分布式采集库，其中权限认证模块、适配汇总模块、数据调度转换模块分别部署到独立的节点上，接口程序则部署到若干机器上，同时每个机器上的接口程序均对应一内存数据库，该内存数据库的配置文件指向数据调度转换模块。