[发明专利]基于位置网的创新平台数据管理方法及系统

说明书

技术领域

本发明涉及云计算领域，特别涉及一种基于位置网的创新平台数据管理方法及系统。

背景技术

位置网的服务器存储了大量的用户位置信息资源、网络分布位置信息资源、相关服务信息资源，提供了相关的服务扩展平台，因此我们在其提供的服务平台上构建了位置网创新平台。同时由于位置网采用MySql数据库作为其位置数据存储支持，随着用户数量的增加，这个数据存储方式将不适用于海量数据的存储，因此需要采用一个可存储海量数据并具有良好的存取实时性的数据库作为位置数据的存储支持，因此我们可以考虑使用Hadoop的HBase分布式数据库来替代MySql数据库，因为HBase数据库具有良好的可扩展性，实时性，适于位置数据信息的存储。位置网的日志文件也记载了大量的网站数据操作日志信息。这些日志信息从一定程度上反映了用户偏好，可通过对日志信息的分析获取如网站访问的时间段偏好，网站访问偏好，位置信息访问偏好等信息。因此采用基于MapReduce框架的相关数据挖掘算法对海量的获取相关统计信息，对于位置网的进一步构建能够起到一定的引导作用。

Hadoop是分布式的计算平台，是对Google的云计算平台的开源实现。主要由HDFS和MapReduce构成，HDFS主要用于实现对数据的分布式存储，MapReduce框架主要用于对大规模数据的分布式计算。HBase是基于HDFS与MapReduce框架的一个面向列的适合于非结构化数据存储的分布式数据库。由于Hadoop平台集分布式存储与计算功能于一体，而且便于布置在大量的廉价机器上及其具有易扩展、处理速度快、安全性高、易实现等特点，使得Hadoop平台无论是在工业界还是在学术界都受到了越来越多的重视，而对Hadoop平台的研发主要分为针对Hadoop平台本身的优化改进以及基于Hadoop平台的上层的应用开发。我们实现的基于Hadoop平台的云主机计算技术主要是基于Hadoop平台的上层应用开发，同时根据时间及性能需求实行相应的改进与优化。

Hadoop本身也为HDFS提供了网页显示和简单的操作功能，但是提供的操作功能很少，不实用，而且网页的显示形式不适合于普通用户的使用，用户体验差。而基于tomcat和Web-Dav虽然已经能够将Hadoop文件系统mount到本地，但是这也需要用户进行下载、配置安装相关软件，这对于某些用户（如数据分析人员）来说显然是繁琐的，而且它现在提供的功能还不完善。同时Hadoop平台提供的HBase分布式数据库提供了不同语言的访问接口及可通过hbase shell命令进行操作，但是这些方式都使得数据库不适合于普通用户的使用。

发明内容

本发明的目的旨在至少解决上述的技术缺陷之一。

为达到上述目的，本发明一方面的实施例提出一种基于位置网的创新平台数据管理方法，包括以下步骤：S1：根据位置网提供的服务构建创新平台的框架，并利用Hadoop平台的HDFS与HBase将所述位置网数据库的数据信息及用户操作的信息转移存储到创新平台的框架上构建创新平台；S2：利用所述创新平台提供的HDFS和HBase作为文件存储和数据库存储的支撑，并利用平台配置参数和表的路径参数封装用户访问的API，通过云主机对文件系统和数据库进行操作和管理；以及S3：根据所述创新平台提供的存储平台对MapReduce编程框架对常用的关系代数算法和数据挖掘算法进行封装，提供云端开发环境，并利用所述框架对常见分布式算法进行封装形成插件，为用户数据提供计算处理能力。

根据本发明实施例的方法，通过位置网位置与服务数据的转移与计算学习，为位置网的进一步构建提供了相关统计数据信息，还对该平台API进行扩展提供了相应的数据操作管理与计算接口，同时提供了程序开发平台满足用户开发需求。

本发明的一个实施例中，所述步骤S1具体包括：S11：在所述位置网提供的服务器平台上申请云服务器的使用；S12：将所述位置网的位置和服务数据转移到创新平台的数据库中；S13：对所述转移数据根据不同数据挖掘算法进行数据分析；以及S14：将所述分析数据进行统计并显示。

本发明的一个实施例中，所述步骤S2具体包括：S21：搭建支撑底层存储与计算的Hadoop平台，其中，所述Hadoop平台包括HDFS、MapReduce和HBase；S22：整合Hadoop平台提供的所述HDFS和HBase相关的API；S23：将所述API进行二次开发和封装；以及S24：调用所述封装的API生成数据存储管理界面对用户数据进行存储和管理。