[发明专利]一种数据挖掘的方法、系统、设备及计算机可读存储介质

说明书

技术领域

本申请涉及数据处理技术领域，特别涉及一种数据挖掘的方法、系统、设备及计算机可读存储介质。

背景技术

近年来中国新车销售增长停滞，而二手车交易急剧扩大，对二手车需求的增加结合当今信息时代的潮流，二手车企业纷纷从传统的线下转向线上谋发展，那么对于相关企业来说，如何网站的数据进行分析与挖掘就变得异常重要。对于二手车企业的分析人员，可以据此迅速观察到网站数据分析的情况，并挖掘出有意愿购买二手车的客户需求等。

现有技术存在的网站数据分析和挖掘方法，通常采用传统且单一的爬取方法来对网站数据进行爬取，当面对大规模网站(TB级别)时的数据爬取效率往往很低，同时这些大量数据的存储在容量与效率方面具有较多缺陷，在挖掘过程中非常重要的数据可视化过程也没有被考虑，实际使用效果不好。

所以，如何克服现有网站数据分析和挖掘方法存在的各项技术缺陷，提供一种效率更高、更完善、方法更加科学且直观的数据挖掘机制是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种数据挖掘的方法，其以更加完善的方案，克服了以往单一的网站数据分析过程带来的缺陷，采用分布式爬取技术与分布式数据存储技术，运用高效率的数据预处理技术以及利用机器学习算法对数据进行分析和建模，通过挖掘出二手车企业和网站运营的客户需求，优化和提升二手车企业的同行竞争力，提高经济效益。

本申请的另一目的在于提供了一种数据挖掘系统、设备及计算机可读存储介质。

为实现上述目的，本申请提供一种数据挖掘的方法，应用于二手车网站，包括：

利用分布式架构和数据库管理系统建立分布式数据仓库；

利用分布式网站数据爬取框架执行队列中的二手车数据爬取任务，并将爬取得到的二手车数据存储至所述分布式数据仓库；

利用分布式数据获取工具按照预设数据提取要求对存储至所述分布式数据仓库中的二手车数据执行数据提取操作，得到列表形式的提取后数据；

根据外部输入的分析与建模算法选择信息，选用相应的分析与建模算法对所述提取后数据进行分析和建模，得到建立的数学模型；

对新获得的二手车数据进行特征筛选操作，并将得到的筛选后数据通过所述数学模型进行训练，以利用训练后数学模型得到相应的模型预测结果。

可选的，利用分布式架构和数据库管理系统建立分布式数据仓库，包括：

利用Hadoop分布式架构结合MySQL数据库管理系统建立所述分布式数据仓库；其中，所述分布式数据仓库包括至少5台服务器，且其中一台服务器为主节点，其余服务器为次节点，并通过分布式管理系统HDFS对存储的数据进行管理和保存。

可选的，利用分布式网站数据爬取框架执行队列中的二手车数据爬取任务，并将爬取得到的二手车数据存储至所述分布式数据仓库，包括：

利用Scrapy网页爬取框架和Redis键值对数据存储系统搭建所述分布式网站数据爬取框架；

利用所述分布式网站数据爬取框架在爬取服务器上建立Redis内存数据库；其中，所述Redis内存数据库用于存放预设爬取规则的爬虫任务，并为每个所述爬虫任务分配相应大小的临时内存；

当所述分布式网站数据爬取框架处于工作状态时，从所述Redis内存数据库按预设读取规则读取预设数量的爬虫任务进行数据爬取；

将爬取到的数据经由所述Scrapy网页爬取框架的项目管道传输至所述分布式数据仓库中的相应位置进行存储。

可选的，利用分布式数据获取工具按照预设数据提取要求对存储至所述分布式数据仓库中的二手车数据执行数据提取操作，得到以列表形式的提取后数据，包括：

根据对不同二手车网站的数据提取要求调整分布式数据获取工具Hive的数据获取参数；

利用调整后的数据获取参数从所述分布式数据仓库中提取得到目标数据；

对所述目标数据进行统一格式处理，得到以列表形式存放的提取后数据。

可选的，在得到以列表形式存放的提取后数据之后，还包括；

对所述提取后数据执行预处理操作，以发现并修复所述提取后数据存在的异常。

可选的，在利用训练后数学模型得到相应的模型预测结果后，还包括：

利用R语言编写的图表可视化工具对所述模型预测结果进行可视化处理，以便于用户进行直观的观察。

为实现上述目的，本申请还提供了一种数据挖掘的系统，应用于二手车网站，包括：