[发明专利]一种数据挖掘方法、装置、服务器及计算机可读存储介质

说明书

本发明公开一种数据挖掘方法、装置、服务器及计算机可读存储介质，该数据挖掘方法包括：从HDFS中获取原始数据；提取所述原始数据中的对象信息及对象关系信息；将提取的对象信息及对象关系信息存储到Hbase中；基于存储的对象信息及对象关系信息挖掘关系数据。本发明的技术方案解决了现有数据挖掘过程对内存及网络带宽配置要求较高的问题，在内存配置不高、低于万兆网卡的配置集群上即可实现快速的关系数据挖掘，降低了实现成本。

技术领域

本发明实施例涉及大数据和数据挖掘技术领域，尤其涉及一种数据挖掘方法、装置、服务器及计算机可读存储介质。

背景技术

目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，从大数据中快速有效地挖掘所需数据越来越重要，例如，从与特定的对象相关的海量数据记录中快速有效地挖掘出不同类别的对象或者在某些方面相关联的对象(即有同一关系的对象)。

在大数据平台的实际应用中经常出现的业务就是对数据进行同一关系的处理，比如发现某人所有的好友，而这些数据零散的存在于大数据系统中，如何把这些零散的数据归并到同一关系中是大数据处理经常遇到的问题。

目前，对于数据进行同一关系的运算处理一般都是采用Spark中的GraphX进行图计算，然后输出计算结果。然而，使用Spark进行计算虽然有诸多便利，但是其对内存和网络带宽要求颇高，Spark官网推荐的网卡是万M的网卡，不太适合一些低配的集群；而使用Neo4j进行运算，其开源版存储量有限，不能满足海量数据的存储需求。

发明内容

本发明提供一种数据挖掘方法、装置、服务器及计算机可读存储介质，该数据挖掘方法适合在内存配置不高，低于万兆网卡的配置集群上使用，以降低成本，解决了现有大数据挖掘过程对内存及网络带宽配置要求较高的问题。

第一方面，本发明实施例提供了一种数据挖掘方法，包括：

从HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)中获取原始数据；

提取所述原始数据中的对象信息及对象关系信息；

将提取的对象信息及对象关系信息存储到Hbase(Hadoop Database，Hadoop数据库)中；

基于存储的对象信息及对象关系信息挖掘关系数据。

第二方面，本发明实施例还提供了一种数据挖掘装置，包括：

数据获取模块，用于从HDFS中获取原始数据；

信息提取模块，用于提取所述原始数据中的对象信息及对象关系信息；

信息存储模块，用于将提取的对象信息及对象关系信息存储到Hbase中；

数据挖掘模块，基于存储的对象信息及对象关系信息挖掘关系数据。

第三方面，本发明实施例还提供了一种服务器，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的数据挖掘方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的数据挖掘方法。