[发明专利]一种数据挖掘的方法、系统、设备及计算机可读存储介质

权利要求书

1.一种数据挖掘的方法，应用于二手车网站，其特征在于，包括：

利用分布式架构和数据库管理系统建立分布式数据仓库；

利用分布式网站数据爬取框架执行队列中的二手车数据爬取任务，并将爬取得到的二手车数据存储至所述分布式数据仓库；

利用分布式数据获取工具按照预设数据提取要求对存储至所述分布式数据仓库中的二手车数据执行数据提取操作，得到列表形式的提取后数据；

根据外部输入的分析与建模算法选择信息，选用相应的分析与建模算法对所述提取后数据进行分析和建模，得到建立的数学模型；

对新获得的二手车数据进行特征筛选操作，并将得到的筛选后数据通过所述数学模型进行训练，以利用训练后数学模型得到相应的模型预测结果。

2.根据权利要求1所述的方法，其特征在于，利用分布式架构和数据库管理系统建立分布式数据仓库，包括：

利用Hadoop分布式架构结合MySQL数据库管理系统建立所述分布式数据仓库；其中，所述分布式数据仓库包括至少5台服务器，且其中一台服务器为主节点，其余服务器为次节点，并通过分布式管理系统HDFS对存储的数据进行管理和保存。

3.根据权利要求2所述的方法，其特征在于，利用分布式网站数据爬取框架执行队列中的二手车数据爬取任务，并将爬取得到的二手车数据存储至所述分布式数据仓库，包括：

利用Scrapy网页爬取框架和Redis键值对数据存储系统搭建所述分布式网站数据爬取框架；

利用所述分布式网站数据爬取框架在爬取服务器上建立Redis内存数据库；其中，所述Redis内存数据库用于存放预设爬取规则的爬虫任务，并为每个所述爬虫任务分配相应大小的临时内存；

当所述分布式网站数据爬取框架处于工作状态时，从所述Redis内存数据库按预设读取规则读取预设数量的爬虫任务进行数据爬取；

将爬取到的数据经由所述Scrapy网页爬取框架的项目管道传输至所述分布式数据仓库中的相应位置进行存储。

4.根据权利要求3所述的方法，其特征在于，利用分布式数据获取工具按照预设数据提取要求对存储至所述分布式数据仓库中的二手车数据执行数据提取操作，得到以列表形式的提取后数据，包括：

根据对不同二手车网站的数据提取要求调整分布式数据获取工具Hive的数据获取参数；

利用调整后的数据获取参数从所述分布式数据仓库中提取得到目标数据；

对所述目标数据进行统一格式处理，得到以列表形式存放的提取后数据。

5.根据权利要求4所述的方法，其特征在于，在得到以列表形式存放的提取后数据之后，还包括；

对所述提取后数据执行预处理操作，以发现并修复所述提取后数据存在的异常。

6.根据权利要求5所述的方法，其特征在于，在利用训练后数学模型得到相应的模型预测结果后，还包括：

利用R语言编写的图表可视化工具对所述模型预测结果进行可视化处理，以便于用户进行直观的观察。

7.一种数据挖掘的系统，应用于二手车网站，其特征在于，包括：

数据仓库建立单元，用于利用分布式架构和数据库管理系统建立分布式数据仓库；

数据爬取单元，用于利用分布式网站数据爬取框架执行队列中的二手车数据爬取任务，并将爬取得到的二手车数据存储至所述分布式数据仓库；

提取及处理单元，用于利用分布式数据获取工具按照预设数据提取要求对存储至所述分布式数据仓库中的二手车数据执行数据提取操作，得到列表形式的提取后数据；

建模单元，用于根据外部输入的分析与建模算法选择信息，选用相应的分析与建模算法对所述提取后数据进行分析和建模，得到建立的数学模型；

模型训练单元，用于对新获得的二手车数据进行特征筛选操作，并将得到的筛选后数据通过所述数学模型进行训练，以利用训练后数学模型得到相应的模型预测结果。

8.根据权利要求7所述的系统，其特征在于，所述数据仓库建立单元包括：

优选数据仓库建立子单元，用于利用Hadoop分布式架构结合MySQL数据库管理系统建立所述分布式数据仓库；其中，所述分布式数据仓库包括至少5台服务器，且其中一台服务器为主节点，其余服务器为此节点，并通过分布式管理系统HDFS对存储的数据进行管理和保存。