“付仲明”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果8个，建议您升级VIP下载更多相关专利

[发明专利]一种Spark框架中Reduce任务执行方法、装置、设备及存储介质-CN202111497023.4在审
发明人： 付仲明;何梦思;罗凌云;丁平尖;朱涛;万亚平 -专利权人：南华大学
申请日： 2021-12-09 - 公布日： 2022-03-11 - 主分类号： G06F9/50 文献下载
摘要：本申请公开了一种Spark框架中Reduce任务执行方法、装置、设备及存储介质，包括：获取执行应用程序的Reduce任务所需Executor的第一数量，并确定Spark框架节点中可用Executor的第二数量；基于所述可用Executor之间的通信距离从所述第二数量个所述可用Executor中确定出所述第一数量个所述可用Executor，以得到与所述应用程序对应的具有低通信延迟的目标Executor集合；其中，所述通信距离表征所述可用Executor所在节点之间的通信延迟；在相应的Spark框架节点中启动所述目标Executor集合中的所述可用Executor，以利用启动后的所述可用Executor执行所述应用程序的Reduce任务。可见，本申请以通信距离作为主要考虑因素在Spark框架中将Executor启动在彼此靠近的节点上，以减少作业运行时Reduce任务之间的通信延迟，提高任务执行性能。
一种 spark 框架 reduce 任务执行方法装置设备存储介质

[发明专利]一种基于Spark框架的Executor分配方法、装置、设备及存储介质-CN202111497024.9在审
发明人： 付仲明;何梦思;罗凌云;丁平尖;朱涛;万亚平 -专利权人：南华大学
申请日： 2021-12-09 - 公布日： 2022-03-11 - 主分类号： G06F9/50 文献下载
摘要：本申请公开了一种基于Spark框架的Executor分配方法、装置、设备及存储介质，包括：确定Map阶段全部Map任务分别在Spark框架中每个第一空闲节点获取相应数据块的通信代价，以得到每个所述第一空闲节点对应的第一通信代价；按照所述第一通信代价的大小顺序对全部所述第一空闲节点进行排序，并依次在排序后的所述第一空闲节点上分配所述第一空闲节点的最大可用Executor数量个第一Executor；当分配的所述第一Executor总数量为第一所需Executor数量时，停止分配所述第一Executor得到所述Map阶段执行所述Map任务的包含当前已分配的所述第一Executor的第一Executor集合。可见，本申请将Executor分配在靠近输入数据块所在的节点上，能够改善Spark任务调度中的数据本地性，有效降低任务的网络流量和数据访问延迟。
一种基于 spark 框架 executor 分配方法装置设备存储介质

[发明专利]一种基于Spark框架的中间数据权重设置方法-CN201810493605.7有效
发明人：吕葳;唐卓;李肯立;李克勤;付仲明;肖伟 -专利权人：湖南大学
申请日： 2018-05-22 - 公布日： 2021-06-11 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种基于Spark框架的中间数据权重设置方法，采用对RDD分片中的键值对进行采样，并通过采样数据估算出中间数据的分布情况，并根据该分布情况为中间数据设置权重值，从而使得分片更加均衡，总体执行更加均衡，提高执行效率。
一种基于 spark 框架中间数据权重设置方法

[发明专利]Spark-Streaming中间数据分区方法、装置、计算机设备和存储介质-CN201910438036.0有效
发明人：唐卓;付仲明;陈岑;陈建国;李肯立;李克勤;廖湘科 -专利权人：湖南大学
申请日： 2019-05-24 - 公布日： 2021-05-11 - 主分类号： G06F16/2455 文献下载
摘要：本申请涉及一种Spark‑Streaming中间数据分区方法、装置、计算机设备和存储介质。一个实施例中的方法包括：获取Spark‑Streaming map任务输出的中间数据中的多个元素，基于蓄水池抽样算法，对多个元素进行抽样处理，得到抽样处理后的元素集群；通过时间序列预测方法对元素集群中元素对应的频率权重进行更新，对更新后的元素集群中各元素按照预设元素顺序进行排序；基于排序后的元素集群，通过动态规划方法求解数据分区对应的边界元素；根据边界元素对更新后的元素集群中的元素进行分区，以使分区处理后最大分区内的各个元素对应的频率权重之和最小。
spark streaming 中间数据分区方法装置计算机设备存储介质

[发明专利]一种基于Spark的抗偏斜的数据分片方法-CN201810584637.8有效
发明人：唐卓;吕葳;李肯立;李克勤;付仲明;肖伟 -专利权人：湖南大学
申请日： 2018-06-08 - 公布日： 2020-09-01 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种基于Spark的抗偏斜的数据分片方法，包括：步骤A：获取预估的中间数据的键簇分布以及Spark应用类型，再基于获取的键簇分布生成与Spark应用类型相匹配的分片策略；键簇为键相同的键值对集合，分片策略包括分别与无需排序、需排序的应用类型相对应的基于键簇重分配的哈希算法策略和基于键簇分割的范围分片算法策略；步骤B：利用生成的分片策略计算出Map输出数据中每个键值对的reduce索引号，再基于reduce索引号的大小顺序将键值对依次写入中间数据文件中。通过上述方法解决了Spark本身的抗偏斜机制问题，解决现有的Hash方法和Range方法无法处理分片偏斜的问题。
一种基于 spark 偏斜数据分片方法

[发明专利]一种基于Spark框架的增量式频繁项集挖掘方法-CN201811551301.8在审
发明人：何梦思;唐卓;李肯立;李克勤;付仲明;肖伟 -专利权人：湖南大学
申请日： 2018-12-18 - 公布日： 2019-05-10 - 主分类号： G06F16/2458 文献下载
摘要：本发明公开了一种基于Spark框架的增量式频繁项集挖掘方法，首先实现一种基于Spark的自适应并行Apriori算法，使用自适应算法来寻找具有更高精度和效率的频繁模式，可以有效解决传统Apriori算法在面对大规模数据时处理能力不足的问题。接着，在并行Apriori算法的基础上实现增量式Apriori算法，能够增量处理动态数据集，大幅减少参与计算的数据量，有效解决Apriori频繁项集挖掘方法的时效性问题。
频繁项集增量式有效解决挖掘并行大规模数据自适应算法动态数据能力不足频繁模式增量处理时效性数据量自适应

[发明专利]分布式并行计算系统的数据分配方法及系统-CN201611042373.0在审
发明人：杨黎;付仲明 -专利权人：深圳市证通电子股份有限公司
申请日： 2016-11-18 - 公布日： 2017-04-26 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种分布式并行计算系统的数据分配方法，该方法包括估算输入数据集中的各个聚类的占用空间；根据所述输入数据集的各个聚类的占用空间以及预设的各个数据块的剩余空间，建立各个聚类以及存储所述聚类的各个数据块的对应关系；根据各个聚类以及存储所述聚类的各个数据块的对应关系，将各个所述聚类存储于对应的数据块中。本发明还公开了一种分布式并行计算系统的数据分配系统。本发明提出的分布式并行计算系统的数据分配方法及系统可以平衡reduce任务的负载，从而提高作业执行的效率，减少时间的损耗。
分布式并行计算系统数据分配方法

[发明专利]基于条件随机场的MYSQL数据库强制访问控制自适应优化方法-CN201610043971.3在审
发明人：唐卓;李巧巧;李肯立;刘昆昆;付仲明;钟莹 -专利权人：湖南大学
申请日： 2016-01-22 - 公布日： 2016-06-08 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种针对具有强制访问控制策略的改进了的MYSQL安全数据库的系统访问日志进行处理和分析，对系统运行过程中发生的漏洞和危险事件进行人工标注，提取特征值，定义特征模版，并通过设置不同的模型参数来调整和验证CRFs-BLP模型的正确性和合理性，然后通过标注结果分析与挖掘出系统现有安全策略规则设置上的缺陷，进而修正用户的相关访问权限，以增强数据库系统的安全感知和自我修复能力。本发明提出的强制访问控制策略以达到B1级别安全；其F值达到了93％以上，具有一定的实际意义。
基于条件随机 mysql 数据库强制访问控制自适应优化方法

1
共 8 条