[发明专利]一种基于MapReduce的数据挖掘算法在审
| 申请号: | 201911101820.9 | 申请日: | 2019-11-12 |
| 公开(公告)号: | CN111090796A | 公开(公告)日: | 2020-05-01 |
| 发明(设计)人: | 罗金满;温兆聪;赵善龙;刘丽媛;张谊 | 申请(专利权)人: | 广东电网有限责任公司;广东电网有限责任公司东莞供电局 |
| 主分类号: | G06F16/95 | 分类号: | G06F16/95;G06F16/2458 |
| 代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 胡素莉 |
| 地址: | 510060 广东*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 基于 mapreduce 数据 挖掘 算法 | ||
1.一种基于MapReduce的数据挖掘算法,其特征在于,包括步骤:
S100、对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展;
S200、将扩展后的MapReduce模型与云计算结合,形成分布式计算机和多维数据计算机的对虚拟资源拓展的数据挖掘模型;
S300、利用数据挖掘模型,并按照生物信息领域的基因模式进行网络作用分析,获取大规模的网络信息数据内容;
S400、再通过数据挖掘模型中的分布式计算机将数据交通、传播、文献、信息关系进行引入数据挖掘模型中;
S500、最后通过数据挖掘模型完成互联网操作下的数据挖掘。
2.根据权利要求1所述的一种基于MapReduce的数据挖掘算法,其特征在于,在S100中,对MapReduce进行具体划分扩展的依据包括步骤:
S101、按照数据传播分析提出局部敏感函数,对所述MapReduce模型进行具体划分规模引导;
S102、通过局部敏感函数的数据分配来获取有效的数据精度函数,进而获取具体划分的类别;
S103、按照数据精度函数,通过分布式计算机的增减操作,确定不断提升运行效果的中心质量模式,满足当下运行操作的基础效率,更新具体划分的类别。
3.根据权利要求1所述的一种基于MapReduce的数据挖掘算法,其特征在于,在S200,分布式计算机和多维数据计算机的对虚拟资源拓展的具体步骤包括:
S201、依照k-means算法,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作;
S202、通过集合点的分析,判断海量数据信息内容;
S203、按照数据聚合的多类别对海量的额数据进行区分。
4.根据权利要求3所述的一种基于MapReduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,其具体的批量数据操作是依照数据集中分析,判断k-means算法的K值标准中心意识表示,分析计算价值下的消耗资源比例关系,并在MapReduce条件下,分析高维数据下的K值情况。
5.根据权利要求4所述的一种基于MapReduce的数据挖掘算法,其特征在于,依照海量高维数据问题,实施中心多叠加代算法分析,从中获取直观的批量数据处理操作,具体的高维数据通过多项叠加操作,分析数据的局限性;
通过改变局部叠加模式,对高维数据局部性进行多项重组,完成高维数据的综合性应用。
6.根据权利要求5所述的一种基于MapReduce的数据挖掘算法,其特征在于,对所述的MapReduce中高维数据叠加模式的适用分析包括:
MapReduce叠加按照数据分片操作,通过Map函数,写入磁盘,Reduce阶段完成远程任务的数据读取,完成数据文件的系统转化;
MapReduce文件依照不同的阶段,获取磁盘数据信息,按照逐步降低系统性能操作的模式,从MapReduce中完成叠加编程操作;
依照MapReduce作业操作,重复的对数据信息进行集中移动操作,调整I/O数据操作结构;
依照作业任务的模式,分析逐步减少MapReduce初始化、调度模式,提升计算的比率关系;
按照节点进行数据索引分析,逐步减少远程访问数据的比例,减少系统消息传递通信过程;
通过过缓存文件的分析,对循环的不变量进行存储,确定数据的存取过程。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东电网有限责任公司;广东电网有限责任公司东莞供电局,未经广东电网有限责任公司;广东电网有限责任公司东莞供电局许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911101820.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





