[发明专利]一种基于MapReduce的数据挖掘算法在审

专利信息
申请号: 201911101820.9 申请日: 2019-11-12
公开(公告)号: CN111090796A 公开(公告)日: 2020-05-01
发明(设计)人: 罗金满;温兆聪;赵善龙;刘丽媛;张谊 申请(专利权)人: 广东电网有限责任公司;广东电网有限责任公司东莞供电局
主分类号: G06F16/95 分类号: G06F16/95;G06F16/2458
代理公司: 北京集佳知识产权代理有限公司 11227 代理人: 胡素莉
地址: 510060 广东*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 mapreduce 数据 挖掘 算法
【权利要求书】:

1.一种基于MapReduce的数据挖掘算法,其特征在于,包括步骤:

S100、对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展;

S200、将扩展后的MapReduce模型与云计算结合,形成分布式计算机和多维数据计算机的对虚拟资源拓展的数据挖掘模型;

S300、利用数据挖掘模型,并按照生物信息领域的基因模式进行网络作用分析,获取大规模的网络信息数据内容;

S400、再通过数据挖掘模型中的分布式计算机将数据交通、传播、文献、信息关系进行引入数据挖掘模型中;

S500、最后通过数据挖掘模型完成互联网操作下的数据挖掘。

2.根据权利要求1所述的一种基于MapReduce的数据挖掘算法,其特征在于,在S100中,对MapReduce进行具体划分扩展的依据包括步骤:

S101、按照数据传播分析提出局部敏感函数,对所述MapReduce模型进行具体划分规模引导;

S102、通过局部敏感函数的数据分配来获取有效的数据精度函数,进而获取具体划分的类别;

S103、按照数据精度函数,通过分布式计算机的增减操作,确定不断提升运行效果的中心质量模式,满足当下运行操作的基础效率,更新具体划分的类别。

3.根据权利要求1所述的一种基于MapReduce的数据挖掘算法,其特征在于,在S200,分布式计算机和多维数据计算机的对虚拟资源拓展的具体步骤包括:

S201、依照k-means算法,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作;

S202、通过集合点的分析,判断海量数据信息内容;

S203、按照数据聚合的多类别对海量的额数据进行区分。

4.根据权利要求3所述的一种基于MapReduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,其具体的批量数据操作是依照数据集中分析,判断k-means算法的K值标准中心意识表示,分析计算价值下的消耗资源比例关系,并在MapReduce条件下,分析高维数据下的K值情况。

5.根据权利要求4所述的一种基于MapReduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,具体的高维数据通过多项叠加操作,分析数据的局限性;

通过改变局部叠加模式,对高维数据局部性进行多项重组,完成高维数据的综合性应用。

6.根据权利要求5所述的一种基于MapReduce的数据挖掘算法,其特征在于,对所述的MapReduce中高维数据叠加模式的适用分析包括:

MapReduce叠加按照数据分片操作,通过Map函数,写入磁盘,Reduce阶段完成远程任务的数据读取,完成数据文件的系统转化;

MapReduce文件依照不同的阶段,获取磁盘数据信息,按照逐步降低系统性能操作的模式,从MapReduce中完成叠加编程操作;

依照MapReduce作业操作,重复的对数据信息进行集中移动操作,调整I/O数据操作结构;

依照作业任务的模式,分析逐步减少MapReduce初始化、调度模式,提升计算的比率关系;

按照节点进行数据索引分析,逐步减少远程访问数据的比例,减少系统消息传递通信过程;

通过过缓存文件的分析,对循环的不变量进行存储,确定数据的存取过程。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司;广东电网有限责任公司东莞供电局,未经广东电网有限责任公司;广东电网有限责任公司东莞供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911101820.9/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top