“数据清洗”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果3248418个，建议您升级VIP下载更多相关专利

[发明专利]数据清洗方法、装置、计算机设备和存储介质-CN202310712965.2在审
发明人：冯晨昊;杨阳;张嘉清;董志刚;何志敏;宋柯欣;徐晶晶;朱时龙;杨硕;唐锆;陈耀星 -专利权人：中国银行股份有限公司
申请日： 2023-06-15 - 公布日： 2023-09-29 - 主分类号： G06F16/215 文献下载
摘要：本申请涉及一种数据清洗方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取待清洗数据；按照预设聚类算法，对待清洗数据进行聚类，得到聚类结果；采用分治算法对聚类结果进行分类，得到分类结果；根据分类结果对待清洗数据进行数据清洗，得到清洗后的数据。采用本方法能够提高数据清洗效率。
数据清洗方法装置计算机设备存储介质

[发明专利]基于区块链的数据处理方法及装置、存储介质及电子设备-CN202210630601.5在审
发明人：胡玮 -专利权人：中国银行股份有限公司
申请日： 2022-06-06 - 公布日： 2022-08-30 - 主分类号： G06F16/215 文献下载
摘要：本发明提供了一种基于区块链的数据处理方法及装置、存储介质及电子设备，可应用于金融领域或其他领域，该方法包括：获取数据清洗任务；数据清洗任务包括待清洗数据以及清洗目标；将数据清洗任务发往区块链系统中的各个任务处理节点；接收每个任务处理节点的基于数据清洗任务反馈的任务处理数据；利用待清洗数据的参考补全信息对每个任务处理节点的任务处理数据进行核验；参考补全信息通过预先构建的神经网络模型基于待清洗数据中的异常数据项以及每个任务处理节点对应的用户信息预测得到；对于每个任务处理数据，在该任务处理数据的核验通过的情况下，对该任务处理数据进行存储。能够提高数据清洗效率，节约计算资源。
基于区块数据处理方法装置存储介质电子设备

[发明专利]一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置-CN201910798395.7有效
发明人：张绪升;谢侃;谢胜利 -专利权人：广东工业大学
申请日： 2019-08-27 - 公布日： 2023-04-18 - 主分类号： G06F16/215 文献下载
摘要：本申请实施例提供了一种基于Hadoop与Spark框架的交通大数据清洗方法及相关装置，充分考虑了交通大数据存在的质量问题，建立了针对相似重复数据、缺失数据以及异常数据的数据清洗规则库，在进行数据清洗时只需要通过调用数据清洗规则库中相应的清洗配置文件便可进行数据清洗，解决了现有技术采用聚类的方法获取到相似特征数据，仅对缺失数据进行了补全，针对异常和错误数据选择了简单粗暴的进行更新和剔除，存在的数据清洗不实用，清洗规则不健全的技术问题。
一种基于 hadoop spark 框架交通数据清洗方法相关装置

[发明专利]一种电力生产运行数据的清洗方法及计算设备-CN201810869465.9有效
发明人：冯泽磊;王照阳;石永恒;马驰源;吴美凤 -专利权人：南京华盾电力信息安全测评有限公司
申请日： 2018-08-02 - 公布日： 2022-09-06 - 主分类号： G06F16/215 文献下载
摘要：本发明公开一种电力生产运行数据的清洗方法，包括裁判测点清洗数据和动态浮箱清洗数据；裁判测点清洗数据用于过滤短期中断的数据；动态浮箱清洗数据用于过滤数据变化趋势不合理数据或不符合当前生产场景的数据；本发明将电力生产运行的基本机理引入到数据清洗逻辑中，避免单一数理清洗造成对数据清洗能力的不足。无需对数据进行假设，实时高效连续可靠对数据进行清洗，准确给出机组运行状态信息，减少噪声对高级业务分析影响，误判率低准确性提高，时间延迟小，可以在短时间内完成采集清洗分析工作并且能接受25%的异常样本冲击鲁棒性好，在数据基数大即时性要求高的电力一体化大数据平台中得到良好应用。
一种电力生产运行数据清洗方法计算设备

[发明专利]一种分布式系统挖掘数据的清洗方法-CN201611109433.6有效
发明人：杜敬;田媛;安西民;林殷;朱巧霞 -专利权人：航天星图科技（北京）有限公司
申请日： 2016-12-02 - 公布日： 2018-09-25 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种分布式系统挖掘数据的清洗方法，根据各个计算节点的运行负载选择其一充当数据清洗节点，将数据挖掘的前期数据清洗准备工作从控制节点中分离出来，减轻控制节点的运行负载，加快系统处理速度，另外由于是根据数据清洗节点的运行负载来选择合适的数据清洗模式，保证数据清洗任务实现的同时不影响数据清洗节点本身其他任务的运行。
一种分布式系统挖掘数据清洗方法

[发明专利]基于元数据的智能化数据清洗方法及装置-CN202010906317.7在审
发明人：王晓明 -专利权人：北京天源迪科信息技术有限公司
申请日： 2020-09-01 - 公布日： 2020-11-27 - 主分类号： G06F16/215 文献下载
摘要：本申请公开了一种基于元数据的智能化数据清洗方法及装置。所述方法包括：利用元数据管理工具从预先设置的质量检查规则模板中匹配出与源库数据相适应的数据质量检查规则模板；利用匹配出的数据质量检查规则模板对源库数据进行检查，并生成数据质量报告；根据匹配出的数据质量检查规则模板和所述数据质量报告，构建清洗任务脚本和清洗流程；利用构建出的清洗任务脚本和清洗流程对源库数据进行清洗。所述装置包括数据质量检查规则构建模块、源库数据检查模块、清洗任务脚本和清洗流程构建模块和清洗模块。
基于数据智能化清洗方法装置

[发明专利]基于配置规则的数据清洗方法、系统及存储介质-CN202110419890.X在审
发明人：蒋善文 -专利权人：北京明略昭辉科技有限公司
申请日： 2021-04-19 - 公布日： 2021-06-11 - 主分类号： G06F16/215 文献下载
摘要：本申请涉及一种基于配置规则的数据清洗方法、系统、电子设备和计算机可读存储介质，其中，该基于配置规则的数据清洗方法包括：配置规则定义步骤，定义一配置规则，其中，所述配置规则中至少包括：数据字段名、数据类型、可选值、是否允许为空、默认值、数据值是否唯一、数值区间范围其一或其任意组合；配置文件获取步骤，获取待清洗数据并根据所述配置规则对所述待清洗数据进行配置，得到配置文件；数据清洗步骤，根据所述配置文件对所述待清洗数据进行数据清洗，得到清洗后的数据。通过本申请，减小了数据清洗工作成本，提高了数据科学家的建模效率。
基于配置规则数据清洗方法系统存储介质

[发明专利]一种化学机械研磨工艺中晶圆表面清洗液配置的优化方法-CN201310150619.6有效
发明人：徐勤志;陈岚 -专利权人：中国科学院微电子研究所
申请日： 2013-04-26 - 公布日： 2013-08-07 - 主分类号： B24B37/10 文献下载
摘要：本发明公开了一种化学机械研磨工艺中晶圆表面清洗液配置的优化方法，包括：选定化学机械研磨的工艺条件；根据选定的工艺条件，获取工艺的温度、晶圆特性数据、研磨液配置数据和当前清洗液配置数据；根据以上数据，利用分子动力学模拟法，获取对应的清洗效果数据；判断所述清洗效果数据是否满足清洗效果标准，如果否，则调整所述当前清洗液配置数据，并将调整后的清洗液配置数据作为所述当前清洗液配置数据，再返回获取清洗效果数据的步骤；如果是，则以所述当前清洗液配置数据配置得到清除晶圆表面吸附颗粒的清洗液通过本发明的技术方案，清洗液配置的优化过程得以简化，实现清除晶圆表面研磨颗粒的工艺成本和周期都得以降低。
一种化学机械研磨工艺中晶圆表面清洗配置优化方法

[发明专利]一种水下清洗机器人直线运动控制方法-CN202210980534.X在审
发明人：陈晓博;刘羽菁;车明;黄磊 -专利权人：飞马滨（青岛）智能科技有限公司
申请日： 2022-08-16 - 公布日： 2022-11-11 - 主分类号： G05D1/06 文献下载
摘要：本发明提供了一种水下清洗机器人直线运动控制方法，包括：实时获取水下清洗机器人的观测坐标数据进行滤波处理，实时采集水下清洗机器人的精确深度数据、控制船与待清洗船的相对位置数据、控制船与水下清洗机器人的相对位置数据；利用水下清洗机器人的精确深度数据、控制船与待清洗船的相对位置数据、控制船与水下清洗机器人的相对位置数据对水下清洗机器人的观测坐标数据修正水下清洗机器人的观测坐标数据；利用之前时刻的水下清洗机器人的修正坐标数据预测下一时刻水下清洗机器人的坐标数据；根据预测的下一时刻水下清洗机器人的坐标数据控制水下清洗机器人在下一时刻运动至预测位置，解决了船舶漏洗和重复清洗的问题，提高了船舶清洗效率。
一种水下清洗机器人直线运动控制方法

[发明专利]一种并行数据清洗系统-CN201611097365.6在审
发明人：安西民;林殷;徐凤桐 -专利权人：航天星图科技（北京）有限公司
申请日： 2016-12-02 - 公布日： 2018-06-12 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种并行数据清洗系统，该系统包括多数据源，多个数据采集装置，缓存服务器，数据清洗装置，数据库，业务机。该系统包括具有并行处理能力的数据清洗装置，该数据清洗装置包括控制装置、本地缓存和多个处理装置。本发明使得能够并行的作数据清洗，提高了清洗速度，具备了海量数据清洗能力，通过提高清洗装置的处理能力，可以进一步的提升清洗的效率，能够同时为多个业务机和/或多个用户服务，满足不同用户不同的业务需求。
数据清洗并行数据清洗系统业务机清洗缓存数据采集装置缓存服务器并行处理处理装置多数据源海量数据控制装置清洗能力清洗装置业务需求用户服务并行数据库

[发明专利]一种数据清洗方法、装置、计算机设备和存储介质-CN202111211420.0在审
发明人：杨鸿林;张云龙;潘安金;郭志;廖永健;江吉兵 -专利权人：湖北亿纬动力有限公司
申请日： 2021-10-18 - 公布日： 2022-01-14 - 主分类号： G06K9/62 文献下载
摘要：本发明实施例提供了一种数据清洗方法、装置、计算机设备和存储介质，该方法包括：从待清洗数据中查找与预设特征值匹配的特征数据，特征值为根据无效数据所生成的值，进一步计算特征数据的置信度，当根据置信度确定特征数据为无效数据时，对待清洗数据中的、确定为无效数据的特征数据清洗得到清洗后的数据，由于通过计算置信度来确定特征数据是否为无效数据，避免了与预设特征值匹配的有效的特征数据被清洗掉，提升了识别无效数据的准确性，实现了准确清洗无效数据，通过清洗后的数据进行大数据分析，能够提高汽车大数据分析的准确性。
一种数据清洗方法装置计算机设备存储介质

[发明专利]ETL数据处理方法及系统、数据清洗方法及装置-CN201710033549.4在审
发明人：丁文超 -专利权人：医渡云（北京）技术有限公司
申请日： 2017-01-16 - 公布日： 2018-07-24 - 主分类号： G06F17/30 文献下载
摘要：本公开是关于一种ETL数据处理方法及系统、数据清洗方法及装置，该数据清洗方法包括：对接收到的多个清洗函数进行注册，以获得各所述清洗函数的标识信息；针对各待清洗数据的清洗需求，分别利用一个或多个所述标识信息生成对应的清洗规则；以及将所述清洗规则发送至多个服务器，使各所述服务器根据所述清洗规则中的所述标识信息调用对应的一个或多个所述清洗函数，以对所述待清洗数据进行清洗。本公开提高了数据清洗的效率。
清洗数据清洗标识信息数据处理服务器规则发送调用

[发明专利]风功率数据清洗方法、清洗装置及预测方法-CN202210895422.4有效
发明人：周晓玲;银磊;张瑞光;刘贞贞;覃明文;汤蔚 -专利权人：深圳量云能源网络科技有限公司
申请日： 2022-07-28 - 公布日： 2022-11-11 - 主分类号： G06F16/215 文献下载
摘要：本发明涉及风功率预测技术领域，尤其涉及一种风功率数据清洗方法、一种风功率数据清洗装置及一种风功率预测方法。其中，一种风功率数据清洗方法，包括：数据获取步骤，获取并生成原始风速‑风功率数据样本；以及，第一清洗步骤，利用公式1对数据样本进行数据清洗，得出第一清洗数据集。本方案的数据清洗效率高，适用性广，能够准确识别出风功率数据中由于多种因素导致的异常数据并进行清洗，从而获得干净的风功率数据，以用于提高后续的风功率预测精度。
功率数据清洗方法装置预测

[发明专利]基于数据分析的分布式数据清洗系统及方法-CN201710103779.3有效
发明人：刘星;张春宏;侯鑫;潘庆东;阳忠平;杨晓斌 -专利权人：北京华安普惠高新技术有限公司
申请日： 2017-02-24 - 公布日： 2018-02-06 - 主分类号： G06F17/30 文献下载
摘要：本发明属于数据处理技术领域，提供了一种基于数据分析的分布式数据清洗系统及方法。该系统包括传感器网络，包括多个传感器；数据采集节点，包括数据清洗引擎和数据清洗规则库；数据服务器，包括数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块。该方法包括通过传感器网络中的多个传感器采集第一数据；在数据采集节点中根据第一数据生成第二数据；在数据服务器中，根据第二数据，利用数据库、数据有效性分析模块、数据清洗规则生成模块和数据清洗规则发布模块完成数据清洗本发明的系统和方法能够自适应地调整数据清洗规则，提高分布式传感器网络部署的效率，并及时消除新产生的干扰对采集系统的影响。
基于数据分析分布式清洗系统方法

[发明专利]数据验证方法及装置、电子设备、存储介质-CN201911395308.X在审
发明人：贾宇楠 -专利权人：医渡云（北京）技术有限公司
申请日： 2019-12-30 - 公布日： 2021-07-16 - 主分类号： G06F16/215 文献下载
摘要：本公开实施例是关于一种数据验证方法及装置、电子设备、存储介质，涉及大数据技术领域，该方法包括：根据采样方式获取测试数据，并获取待测试的清洗函数；根据所述待测试的清洗函数对所述测试数据进行清洗操作，以得到所述测试数据的清洗数据；基于所述清洗数据对所述待测试的清洗函数进行验证，以获取验证结果。本公开的技术方案能够快速及时地对清洗结果进行验证，从而提高数据清洗的准确性。
数据验证方法装置电子设备存储介质

首页
«上一页
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条