“倾斜数据”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3167484个，建议您升级VIP下载更多相关专利

[发明专利]基于数据倾斜的关联查询方法、装置、设备及存储介质-CN202010581205.9在审
发明人：李慎刚 -专利权人：中国平安财产保险股份有限公司
申请日： 2020-06-23 - 公布日： 2020-09-25 - 主分类号： G06F16/2453 文献下载
摘要：本发明涉及大数据领域，公开了一种基于数据倾斜的关联查询方法、装置、设备及存储介质，用于降低查询关联数据失败的概率。基于数据倾斜的关联查询方法包括：读取第一表格数据、第二表格数据和对应的数据量；根据第一表格数据和第二表格数据得到第一非倾斜数据集、第一倾斜数据集、第二非倾斜数据集、第二倾斜数据集或者第三非倾斜数据集、第三倾斜数据集、第四非倾斜数据集、第四倾斜数据集；并基于多个倾斜数据集、多个非倾斜数据集和关联查询请求确定第一目标数据集或者第二目标数据集，并将第一目标数据集或者第二目标数据集传输至目标终端，此外，本发明还涉及区块链技术，第一目标数据集和第二目标数据集可存储于区块链中。
基于数据倾斜关联查询方法装置设备存储介质

[发明专利]一种石化高温塔式设备倾斜监测装置及方法-CN202310288629.X在审
发明人：丁克勤;辛伟;陈岗;马晶晶;王郁林;步伟;崔强;梁斌;张超;姚扬 -专利权人：中国特种设备检测研究院;中国石油化工股份有限公司金陵分公司;南京市锅炉压力容器检验研究院
申请日： 2023-03-23 - 公布日： 2023-07-07 - 主分类号： G01C9/00 文献下载
摘要：本发明公开一种石化高温塔式设备倾斜监测装置及方法，该装置包括倾斜数据采集系统、倾斜数据处理系统以及多个三轴倾斜传感器；多个三轴倾斜传感器安装在石化高温塔式设备的不同位置；每一三轴倾斜传感器用于采集石化高温塔式设备对应位置的实时倾斜数据；实时倾斜数据包括：石化高温塔式设备不同方位的倾斜角度；倾斜数据采集系统分别与三轴倾斜传感器和倾斜数据处理系统连接；倾斜数据采集系统用于获取石化高温塔式设备不同位置的实时倾斜数据，将实时倾斜数据转变为电信号，发送至倾斜数据处理系统；倾斜数据处理系统用于将电信号进行存储、曲线分析、数据回顾以及监测预警。本发明可实时、准确地监测石化高温塔式设备的倾斜状态。
一种石化高温塔式设备倾斜监测装置方法

[发明专利]一种数据倾斜处理方法、装置、终端设备及存储介质-CN202010728649.0在审
发明人：魏文国;黄子纯;廖信海;谢桂园 -专利权人：广东技术师范大学;广东外语外贸大学
申请日： 2020-07-24 - 公布日： 2020-11-27 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种数据倾斜处理方法、装置、终端设备及存储介质，包括基于预设的抽样算法，对数据进行抽样以获得等概率的样本数据，并通过数据的累加计算获得每一value所占空间的大小；利用数据倾斜检测模型将所述样本数据划分为倾斜数据、非倾斜数据；将所述非倾斜数据分配至预设的Hash分区，并基于动态分配算法将所述倾斜数据动态分配到各个存储分区中，以均衡Spark负载。本发明实施例通过增加一个变量权重用来预测分区大小，对数据进行抽样后利用数据倾斜检测模型将数据分类为倾斜数据和非倾斜数据，利用非倾斜数据预测Reduce分区的大小，并将倾斜数据均衡分配到各个分区中去，能够使
一种数据倾斜处理方法装置终端设备存储介质

[发明专利]数据倾斜检测方法、装置、计算机设备及可读存储介质-CN202010911493.X在审
发明人：吴名先;郑丕伟 -专利权人：深圳壹账通智能科技有限公司
申请日： 2020-09-02 - 公布日： 2020-11-24 - 主分类号： G06F16/2455 文献下载
摘要：本申请实施例提供了一种数据倾斜检测方法、装置、计算机设备及计算机可读存储介质。本申请实施例属于数据处理技术领域，通过获取查询任务，对所述查询任务进行读取操作，以得到处理所述查询任务所对应的时间维度参数和数据量维度参数，分析所述时间维度参数和所述数据量维度参数，以得到数据倾斜所对应的数据倾斜值，判断所述数据倾斜值是否大于或者等于预设数据倾斜阈值，若所述数据倾斜值大于或者等于所述预设数据倾斜阈值，判定存在数据倾斜，由于对数据查询中的时间维度和数据量维度两个方面对数据倾斜进行统计，与预设的数据倾斜阈值做比较，得出最终的数据倾斜结果，降低了数据倾斜评估的复杂性，提高了对数据倾斜检测的效率和准确度。
数据倾斜检测方法装置计算机设备可读存储介质

[发明专利]斜度监控方法、斜度监控装置、计算机设备和存储介质-CN202110721055.1有效
发明人：萧振辉;何泽斌;邱烜;刘云勋 -专利权人：广东电网有限责任公司广州供电局
申请日： 2021-06-28 - 公布日： 2023-01-20 - 主分类号： H02J13/00 文献下载
摘要：所述斜度监控方法，接收待检杆塔的倾斜角度和杆塔标识，从而实现对杆塔的倾斜角度的在线监测；同时获取倾斜数据集合，从倾斜数据集合中选取目标已检倾斜数据，将目标已检倾斜数据与所述待检杆塔的倾斜数据汇总生成目标倾斜报告，由于目标已检倾斜数据与待检杆塔的倾斜数据特征匹配，因此根据目标倾斜报告可以获得与待检杆塔的倾斜数据相关联的目标已检倾斜数据，进而可以获得相关联的杆塔倾斜问题。因此巡检人员可以根据目标倾斜报告实施针对性快速的危险排查和维护处理，提高巡检效率。
斜度监控方法装置计算机设备存储介质

[发明专利]一种检测倾斜数据的Hash Join执行方法-CN202211418045.1在审
发明人：陈磊;魏可伟;赵衎衎 -专利权人：上海沄熹科技有限公司
申请日： 2022-11-14 - 公布日： 2023-03-28 - 主分类号： G06F16/22 文献下载
摘要：本发明公开一种检测倾斜数据的Hash Join执行方法，涉及分布式数据库技术领域，包括：获取两个输入数据集；设定相对倾斜率，计算相对倾斜率与其中一个输入数据集中数据量的乘积，得到倾斜阈值，输入数据集中出现频率超过倾斜阈值的值被称为倾斜值；检查总数据量较大的输入数据集中是否存在倾斜值，若不存在，则对两个输入数据集分别进行哈希分发，若存在，则探测该输入数据集在某个字段的所有倾斜值，得到倾斜值列表，随后基于倾斜值列表将每个输入数据集拆分为不含倾斜值的Normal数据集和含有倾斜值的Skew数据集，对Normal数据集进行哈希分发，对Skew数据集进行平均分发或镜像分发；集群中的节点对其上数据进行Hash Join计算。
一种检测倾斜数据 hash join 执行方法

[发明专利]一种输电线杆塔测斜系统及方法-CN201910269136.5在审
发明人：王鑫;张淑娟;陈清萍;李周;袁方;蔡翔;王潇;华召云;高博;赵龙;何兵兵;钱光超;仇茹嘉;张超 -专利权人：国家电网有限公司;国网安徽省电力有限公司电力科学研究院
申请日： 2019-04-04 - 公布日： 2019-06-25 - 主分类号： G01C9/00 文献下载
摘要：本发明公开了一种输电线杆塔测斜系统及方法，所述系统包括：倾斜传感器、数据发送芯片、通信平台以及服务器，其中，所述倾斜传感器，用于获取杆塔的倾斜数据；所述数据发送芯片，用于将所述倾斜数据发送至所述通信平台；所述通信平台，用于将倾斜数据发送至外网服务器；所述外网服务器，用于将倾斜数据发送至内网服务器；所述内网服务器，用于存储倾斜数据，对倾斜数据进行分析，并在倾斜数据超出设定阈值的情况下发出预警。应用本发明实施例，可以在杆塔倾斜初期进行杆塔倾斜预警。
倾斜数据杆塔通信平台数据发送芯片内网服务器倾斜传感器输电线杆塔外网服务器测斜系统发送预警服务器存储应用分析

[发明专利]一种分布式数据处理方法及装置-CN201611178256.7在审
发明人：邓怡豪 -专利权人：北京奇虎科技有限公司
申请日： 2016-12-19 - 公布日： 2017-05-31 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种分布式数据处理方法及装置，涉及数据处理技术领域，该方法包括将在同一数据集中的出现次数大于预设次数的键对应的数据确定为倾斜数据，将包含倾斜数据的数据集确定为倾斜数据集，将未包含倾斜数据的数据集确定为非倾斜数据集；根据预设的键标记集合，为倾斜数据集中的每个数据的原始键分别添加一个键标记；将非倾斜数据集进行扩容，根据键标记集合，为扩容后的非倾斜数据集中的每个数据的原始键分别添加一个键标记；按照预设的数据分配规则，将处理后的倾斜数据集以及处理后的非倾斜数据集中的各个数据分配给多台服务器进行分布式处理。由此可见，本发明使数据更加均匀地分配到服务器上，提高了分布式数据处理效率。
一种分布式数据处理方法装置

[发明专利]一种基于MapReduce识别优化数据倾斜的方法及系统-CN201510619074.8在审
发明人：邹艳梅;潘宣辰 -专利权人：武汉安天信息技术有限责任公司
申请日： 2015-09-25 - 公布日： 2016-09-28 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于MapReduce识别优化数据倾斜的方法及系统，首先构建数据倾斜指标的标准值和数据倾斜决策树优化方案，通过数据倾斜指标的实际值与数据倾斜指标的标准值对比，自动识别是否存在数据倾斜，若存在数据倾斜，则量化评估数据倾斜的程度并确定所属优化场景类型和选择合适的决策树优化方案进行优化，最后对决策树优化方案进行修改和扩展。通过本方法解决了传统方法没有识别数据倾斜的能力，优化方案单一，人工判断效率低的问题。
一种基于 mapreduce 识别优化数据倾斜方法系统

[发明专利]一种数据倾斜监控方法及分布式数据库系统-CN202310911923.1在审
发明人：万祥宾;邹仁利;高雪玉;苗健;吕新杰 -专利权人：瀚高基础软件股份有限公司
申请日： 2023-07-24 - 公布日： 2023-10-10 - 主分类号： G06F11/30 文献下载
摘要：本申请公开了一种数据倾斜监控方法及分布式数据库系统，包括：获取数据库系统的分布表信息；基于获取的分布表信息计算当前倾斜率，以及计算所述分布表信息中指定分布键对应的模拟倾斜率；基于所述模拟倾斜率判断所述当前倾斜率是否发生数据倾斜，若是则根据所述模拟倾斜率查找使得数据分布更均衡的分布键，以基于查找的分布键进行重分布，以提高数据库的数据分布均衡性。本申请实施例通过模拟倾斜率和当前倾斜率，从而能够发现更优的分布键，用来改善数据倾斜，从而实现数据分布均衡。
一种数据倾斜监控方法分布式数据库系统

[发明专利]大范围倾斜三维数据的融合方法、系统及设备-CN202310266014.7在审
发明人：徐汝坤;沙志友;伏伟伟;胡跃雄 -专利权人：易智瑞信息技术有限公司
申请日： 2023-03-17 - 公布日： 2023-05-26 - 主分类号： G06T19/20 文献下载
摘要：本发明涉及倾斜摄影数据处理领域，具体涉及一种大范围倾斜三维数据的融合方法、系统及设备，目的在于解决网络访问时数据加载慢的问题。本发明的方法包括：根据倾斜摄影OSGB数据提取各切片数据对应的多边形；根据提取的多边形生成具有LOD层级的多边形；根据具有LOD层级的多边形，分别对高程数据和正射影像数据进行切片分割，得到具有LOD层级的高程切片数据和正射影像切片数据；根据具有LOD层级的高程切片数据和正射影像切片数据，生成地形级倾斜SLPK数据；将倾斜摄影OSGB数据转换成倾斜摄影SLPK数据；根据地形级倾斜SLPK数据和倾斜摄影SLPK数据生成融合SLPK文件。本发明有效提高了浏览器加载数据的效率。
范围倾斜三维数据融合方法系统设备

[发明专利]基于地震数据的地质倾斜估计-CN201880074337.3在审
发明人：白亨守 -专利权人：沙特阿拉伯石油公司
申请日： 2018-09-24 - 公布日： 2020-06-30 - 主分类号： G01V1/36 文献下载
摘要：数据处理装置接收地下区域的地震数据。所述地震数据包括多个地震数据点。针对每个地震数据点，基于所接收到的地震数据来计算梯度，并且基于所述每个地震数据点的梯度来计算倾角。使用各向异性扩散来平滑所述倾角。
基于地震数据地质倾斜估计

[发明专利]用于数据倾斜的映射化简模型-CN201980049674.1在审
发明人：阿斯沃思·马诺哈兰;尼古拉斯·松塔格;赛仑德拉·拉索尔 -专利权人：罗布乐思公司
申请日： 2019-07-25 - 公布日： 2021-03-09 - 主分类号： G06F16/906 文献下载
摘要：系统包括：计算机集群，其通过第一节点在第一数据位置执行第一化简操作从而生成多个第一标记用于标识在所述第一数据位置的数据；通过第二节点在第二数据位置执行第二化简操作从而生成多个第二标记用于标识在所述第二数据位置的数据；响应于生成一个或多个标记，计算机集群将一个或多个标记添加到序列；响应于通过第一节点完成第一化简操作，计算机集群指示第一节点执行第一复制操作复制第一数据，第一数据被序列中的一个或多个标记中的第一标记所标识
用于数据倾斜映射模型

[发明专利]倾斜摄影的数据处理方法-CN202211728257.X在审
发明人：李刚;李冬林 -专利权人：北京辰安科技股份有限公司
申请日： 2022-12-29 - 公布日： 2023-05-16 - 主分类号： G06T15/00 文献下载
摘要：本申请提出了一种倾斜摄影的数据处理方法，涉及三维数据处理技术领域，方法包括：获取倾斜摄影的原始数据；对多个原始切片进行根节点合并得到合并切片；对合并切片中的顶点进行顶点抽稀，以得到合并切片中抽稀后的各目标顶点，以及将渲染合并切片的纹理图像进行图像处理，以得到各合并切片对应的目标纹理；基于合并切片的目标顶点，以及渲染合并切片的目标纹理，生成倾斜摄影的目标数据，以基于目标数据在客户端进行三维倾斜摄影图像的展示。由此，通过减少切片的数量，以及减少倾斜摄影的数据的数据量，有效降低倾斜摄影的数据的显存占用，提升加载性能与效率。
倾斜摄影数据处理方法

[发明专利]数据倾斜的预测方法及装置-CN202011046715.2有效
发明人：严琳;徐雅光;韩路;刘利刚;俞浩;陈世强 -专利权人：中国银行股份有限公司
申请日： 2020-09-29 - 公布日： 2023-09-26 - 主分类号： G06F9/50 文献下载
摘要：本发明提供了一种数据倾斜的预测方法及装置，该方法包括：响应于数据倾斜预测指令，确定所述数据倾斜预测指令对应的待执行任务；获取节点集群当前的运行状态信息以及源系统的数据量信息；所述源系统待用于提供所述待执行任务对应的任务数据，所述节点集群待用于处理所述待执行任务对应的任务数据；基于待执行任务的任务算子、运行状态信息和数据量信息生成待执行任务对应的预测参数；将预测参数输入至预先设置的数据倾斜预测模型中，得到待执行任务对应的数据倾斜预测结果应用本发明提供的方法，能够在待执行任务执行之前，得到该待执行任务对应的数据倾斜预测结果，能够避免在执行任务过程中发生数据倾斜，从而避免影响到使用集群的其他业务。
数据倾斜预测方法装置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条