|
钻瓜专利网为您找到相关结果 134个,建议您 升级VIP下载更多相关专利
- [发明专利]海量数据下并行Skyline处理方法及系统-CN201910543347.3有效
-
鲁芹;梁心美;李名玉
-
齐鲁工业大学
-
2019-06-21
-
2021-11-12
-
G06F9/50
- 本公开提出了海量数据下并行Skyline处理方法及系统,包括:分配web数据到worker节点:将web数据上传到HDFS中,通过Hadoop的文件系统HDFS将数据进行切分,将切分的数据块分配到worker节点,以进行并行计算;worker节点进行Skyline计算:通过本地Skyline计算阶段得到本地候选Skyline服务,然后将每个本地Skyline候选服务通过网络传送到master主节点,经过master节点Skyline计算,最终得到全局Skyline服务;master节点Skyline计算:汇总所有worker节点的候选Skyline服务,再次通过改进的Skyline算法,将所有的数据分成4个区域,这样得到全局Skyline服务。将传统的Skyline算法进行改进,将服务集合进行区域划分,大量减少了不具有支配关系的数据点,节省了内存的占用,并将改进的Skyline算法通过Spark平台实现了并行化。
- 海量数据并行skyline处理方法系统
- [发明专利]基于云计算的动态Skyline查询装置-CN201611150576.1在审
-
季长清;王宝凤;刘艳红;李媛媛
-
大连大学
-
2016-12-14
-
2017-04-26
-
G06F17/30
- 基于云计算的动态Skyline查询装置,用于海量数据的动态Skyline查询问题,包括全局Skyline格计算模块进行全局Skyline格计算,整个计算流程是一个DAG图执行过程,得到的数据点作为动态Skyline计算的候选集,在动态Skyline计算中扫描候选集里的数据点,将数据点转换坐标,以将动态Skyline的计算转换成以查询点为坐标原点的静态Skyline计算,这个DAG执行过程启动一个基于Tez的MapReduce作业,利用Map函数在各节点中并行进行,结果进行缓存,接下来再启动一个MapReduce作业检查转换后数据点的Skyline格支配关系,进行Skyline的计算并返回结果,采用轮询方式进行全局Skyline格计算,有效剪枝后进行Skyline计算,节省了大量的计算。
- 基于计算动态skyline查询装置
- [发明专利]基于云计算的动态Skyline查询方法-CN201611150580.8在审
-
李媛媛;季长清;肖鹏;邓武;徐克圣
-
大连交通大学
-
2016-12-14
-
2017-04-26
-
G06F17/30
- 基于云计算的动态Skyline查询方法,用于海量数据的动态Skyline查询问题,进行全局Skyline格计算,整个计算流程是一个DAG图执行过程,得到的数据点作为动态Skyline计算的候选集,在动态Skyline计算中扫描候选集里的数据点,将数据点转换坐标,以将动态Skyline的计算转换成以查询点为坐标原点的静态Skyline计算,这个DAG执行过程启动一个基于Tez的MapReduce作业,利用Map函数在各节点中并行进行,结果进行缓存,接下来再启动一个MapReduce作业检查转换后数据点的Skyline格支配关系,进行Skyline的计算并返回结果。采用轮询方式进行全局Skyline格计算,有效剪枝后进行Skyline计算,节省了大量的计算。
- 基于计算动态skyline查询方法
|