[发明专利]数据清理方法及装置有效
| 申请号： | 201511022880.3 | 申请日： | 2015-12-30 |
| 公开（公告）号： | CN106933863B | 公开（公告）日： | 2019-04-19 |
| 发明（设计）人： | 蒋瑜 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215;G06F16/22 |
| 代理公司： | 北京同立钧成知识产权代理有限公司 11205 | 代理人： | 杨贝贝;黄健 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种数据清理方法及装置。该方法包括：在历史表单库中选取与当前表单具有相同描述对象的历史表单，当前表单中含有m个标题字段，历史表单中含有n个标题字段，其中m和n为正整数；按照第一预设算法计算m个标题字段中每个标题字段与n个标题字段中的每个标题字段之间的相似度；针对任一相似度SIM(i,j)，若按照预设匹配规则判定出第i标题字段和第j标题字段匹配，则获取第j标题字段的约束条件；对第i标题字段对应的数据中不符合约束条件的数据进行数据清理。本发明提供的数据清理方法及装置提高了数据清理的效率和准确性，提高了数据源的准确性和可靠性。 | ||
| 搜索关键词： | 数据 清理 方法 装置 | ||
【主权项】：
1.一种数据清理方法，其特征在于，所述方法包括：在历史表单库中选取与当前表单具有相同描述对象的历史表单，所述当前表单中含有m个标题字段，所述历史表单中含有n个标题字段，其中m和n为正整数；按照第一预设算法计算所述m个标题字段中每个标题字段与所述n个标题字段中的每个标题字段之间的相似度；针对任一相似度SIM(i,j)，若按照预设匹配规则判定出第i标题字段和第j标题字段匹配，则获取所述第j标题字段的约束条件；其中i表示所述m个标题字段中的第i标题字段，j表示所述n个标题字段中的第j标题字段，i的取值包括不大于m的所有自然数，j的取值包括不大于n的所有自然数；对所述第i标题字段对应的数据中不符合所述约束条件的数据进行数据清理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201511022880.3/，转载请声明来源钻瓜专利网。
- 上一篇：一种超细炭黑的制备装置
- 下一篇：一种炭黑氧化收集系统
- 同类专利
- 一种供电局的财务数据的管理方法-201910534468.1
- 马鑫;詹绍志;张盛春;李慧;余震滔 - 贵州电网有限责任公司
- 2019-06-20 - 2019-11-12 - G06F16/215
- 本发明公开了一种供电局的财务数据的管理方法，所述管理方法包括：获取资产台账数据和第一财务数据；判断所述资产台账数据和所述第一财务数据的编码信息是否一致；若是，则基于所述资产台账数据对所述第一财务数据进行管理，以获得管理后财务数据；否则，按照预设规则获取与所述资产台账数据相匹配的第二财务数据，并基于所述资产台账数据和所述第二财务数据获得管理后财务数据。通过在现有供电资产及财务管理系统的基础上，建立对财务数据的自动匹配和自动管理方法，技术人员可以对资产台账数据和财务数据进行自动分析和管理，从而一方面减少技术人员的大量、重复计算，提高了管理效率，另一方面避免人为因素的影响，提高了管理准确率。
- 一种用于机场自动观测系统的数据融合方法-201910694145.9
- 刘黎;胡艳红;景颖;张道永 - 郑州航管科技有限公司
- 2019-07-30 - 2019-11-12 - G06F16/215
- 本发明公开了一种用于机场自动观测系统的数据融合方法，涉及数据融合领域。所述数据融合步骤为：S1：设置前序接收装置，通过前序接收装置采集原始测量数据，再将原始测量数据传送至数据预处理模块；S2：数据预处理模块对原始测量数据进行有效性判断，标识或剔除采集过程中的异常数据，再对剩余数据进行整合，得到优化数据，再将优化数据传送至数据融合模块；S3：数据融合模块采用多传感器数据融合方法对优化数据进行处理，得到格式化数据，并对格式化数据增加时效性标记；S4：将格式化数据传送至各个应用。
- 字段标签的获取方法及装置、存储介质、电子装置-201910697323.3
- 宋柯 - 北京明略软件系统有限公司
- 2019-07-30 - 2019-11-12 - G06F16/215
- 本公开实施例提供了一种字段标签的获取方法及装置、存储介质、电子装置，所述方法包括：获取训练样本集，其中，训练样本集中包括用于训练初始网络模型的样本字段以及标签，样本字段与标签的映射关系已知，标签用于表征样本字段的类别；将训练样本集输入多个初始网络模型进行训练，得到多个目标网络模型，其中，目标网络模型用于根据字段输出对应的标签，多个目标网络模型对应的训练算法不同；使用测试样本集对多个目标网络模型进行测试，确定输出的标签与预先设定的标签误差最小的目标网络模型为应用模型，其中，测试样本集中包括用于测试目标网络模型的测试字段以及标签；将待分类字段输入到应用模型，得到待分类字段对应的标签。
- 测风塔数据处理方法及装置-201810397272.8
- 张建平;王风涛;徐浩 - 新疆金风科技股份有限公司
- 2018-04-28 - 2019-11-08 - G06F16/215
- 本公开提供了一种测风塔数据处理的方法及装置。所述方法包括：对测风塔数据进行读取；分别使用不同的数据筛选方法对读取的测风塔数据进行数据筛选；针对不同的测风塔数据缺失情况，对筛选后的数据进行数据插补；选取插补后的测风塔数据的完整年数据并对选取的完整年数据进行代表年订正；将订正后的测风塔数据拟合为风力发电机组的轮毂高度处的数据。本发明能够更加全面地考虑误差来源，根据不同的情况选择不同的处理方法，降低了测风塔数据处理过程中的不确定性并提高了测风塔数据的处理速度和准确性。
- 一种图数据处理方法和装置-201910567904.5
- 路智钦 - 苏州浪潮智能科技有限公司
- 2019-06-27 - 2019-11-08 - G06F16/215
- 本发明提供一种图数据处理方法，包括以下步骤：通过图数据解析工具提取分布式存储的图数据，获取所述图数据的顶点属性值、顶点ID值并获取所述图数据的每条边的源顶点值和目的顶点值；通过图数据格式转换工具将顶点属性值、顶点ID值形成顶点数据记录文件并将每条边的源顶点值和目的顶点值形成边数据记录文件，以得到分布式计算工具可识别的数据格式；以及通过所述分布式计算工具根据点数据记录文件和边数据记录文件进行构图，并根据所述图实例对象进行计算。通过本发明，可以将图数据的分布式存储和分布式计算结合起来，实现一站式图数据处理。
- 一种针对医疗数据的质量控制方法及系统-201910708158.7
- 汤士伟;宋元成;沙蓓斌;潘宁;徐奎东;沈欢;杨秋芬;张丽;刘磊;刘晓静 - 万达信息股份有限公司
- 2019-08-01 - 2019-11-08 - G06F16/215
- 本发明提供了一种针对医疗数据的质量控制方法及系统，包括：从上传接口获取医疗机构上传的按接口规范定义的医疗数据集；对所述医疗数据集中的每条数据进行校验，并计算所述医疗数据集的统计信息；将所有校验合格的数据及所述统计信息上传至中心平台；根据所述上传至中心平台的数据，从多个维度对所述医疗机构的本次上传进行质量评估。本发明可以及时发现医疗机构上传的数据问题，有利于上传单位和卫生主管部门了解上传数据质量，从而督促上传单位提升下次上传的数据质量，进而提升医疗卫生数据的质量。
- 数据仓库的数据处理方法及装置-201510303311.X
- 吴勇军 - 阿里巴巴集团控股有限公司
- 2015-06-04 - 2019-11-08 - G06F16/215
- 本申请实施例中提供了一种数据仓库的数据处理方法及装置，该方法包括：接收用户输入的查询条件，查询条件包括待查询数据的关键词；根据关键词确定待查询数据与数据仓库中其他数据的依赖关系，依赖关系是下述的一种：无依赖、强依赖、弱依赖；向用户返回依赖关系；接收用户根据依赖关系下发的数据处理指令；触发数据仓库对待查询数据执行数据处理指令。采用本申请实施例中提供的方法，能够提升数据仓库的资源使用效率。
- 表格数据修改方法、装置、电子设备及存储介质-201910523715.8
- 王宏力 - 平安科技（深圳）有限公司
- 2019-06-17 - 2019-11-05 - G06F16/215
- 本发明提供一种表格数据修改方法、装置、电子设备及存储介质。所述表格数据修改方法能够当接收到表格数据时，根据配置条件审核所述表格数据，当所述表格数据有误时，获取并显示所述表格数据的错误信息，让用户直观地看到所述表格数据的错误，当接收到所述错误信息的修改指令时，确定所述错误信息对应的修改选项，显示所述修改选项，当接收到对所述修改选项的确认信号时，根据所述修改选项修改所述表格数据，从而对表格数据的智能修改，实现了数据处理，提高了修改效率，且更具人机交互性，同时也更加人性化。
- 数据实时处理与存储系统及方法-201910525814.X
- 陈新 - 上海展湾信息科技有限公司
- 2019-06-18 - 2019-11-05 - G06F16/215
- 一种数据实时处理与存储系统及方法包括：物接入模块接入各类设备或网关的各类协议格式的数据；消息队列模块承载物接入模块传输的数据；规则引擎模块对消息队列中的数据进行数据清洗和数据处理；数据库模块对经过数据清洗和处理的数据存储，供之后的接口/应用进行调用，数据库模块包含三种不同类型的数据库：用于实时数据存储的内存数据库，用于存放业务逻辑关系、相关统计数据的关系型数据库，用于存放基于时间序列的采集历史数据的时序数据库；算法管理模块对已存入时序数据库中的数据，按照建立的各种不同功能的算法模型进行数据价值方面的分析与挖掘，形成统计与分析数据并存入关系型数据库中。
- 数据管理方法及装置-201910588376.1
- 张自豪 - 万翼科技有限公司
- 2019-06-29 - 2019-11-05 - G06F16/215
- 本发明公开了一种数据管理方法，包括：获取M1条第一数据和M2条第二数据，M1条第一数据为数据管理系统A中的数据，M2条第二数据为数据管理系统B中的数据，数据管理系统A和数据管理系统B为两个不同部门的系统；对M1条第一数据和M2条第二数据进行预处理，以得到M3条主数据；为M3条主数据中的每条主数据创建对应的标识，以得到主数据与标识的对应关系表。本发明实施例还提供了一种数据管理装置。采用本发明实施例有利于实现了不同部门之间的数据共享。
- 一种用于风电机组风速相关性分析的风速数据清洗方法-201710516600.7
- 沈小军;周冲成 - 同济大学
- 2017-06-29 - 2019-11-05 - G06F16/215
- 本发明涉及一种用于风电机组风速相关性分析的风速数据清洗方法，用于多个风电机组风速相关性分析时各风电机组风速数据的清洗，该方法包括如下步骤：(1)获取各风电机组原始风速时序数据和对应的发电输出功率时序数据；(2)对发电输出功率时序数据根据设定的检索标记规则进行检索标记获取各风电机组的检索矩阵；(3)对各风电机组检索矩阵进行综合修正得到修正检索矩阵；(4)根据修正检索矩阵对各风电机组原始风速数据进行数据剔除得到各风电机组清洗后的风速时序数据。与现有技术相比，本发明方法简单可靠，提高风电机组风速数据的可用性，保证相关性分析结果的准确性。
- 减少数据库存储容量的数据存储方法-201711270332.1
- 王华勇 - 北京百度网讯科技有限公司
- 2017-12-05 - 2019-11-05 - G06F16/215
- 本发明涉及一种数据库的数据存储方法，包括：S101：接收待存入的数据表或者数据表的分片；S102：对所述数据表或数据分片中的数据进行模式识别，匹配到多个预设的模式之一；S103：按照与所述多个预设的模式分别相对应的编码方式，对所述数据进行编码；和S104：将编码的结果写入数据库的存储器中。
- 异常考勤数据的筛选方法、装置、计算机设备及存储介质-201910533062.1
- 李日美 - 平安银行股份有限公司
- 2019-06-19 - 2019-11-01 - G06F16/215
- 本发明公开了异常考勤数据的筛选方法、装置、计算机设备及存储介质。该方法包括：定位获取考勤数据集合，在考勤数据集合中根据数据筛选条件获取对应的历史考勤数据集合；根据数据筛选策略从历史考勤数据集合中各历史考勤数据子集获取对应的目标数据，以得到目标数据子集；获取与目标数据子集中各目标数据的考勤时间点对应的监控视频，根据人脸识别获取监控视频中存在的目标用户；若有监控数据中存在的目标用户与各目标数据对应的用户不相同，将对应的目标数据进行可疑数据标识。该方法实现了从考勤数据集合准确的挖掘出满足数据筛选策略的目标数据，并结合人脸识别技术进一步确定目标数据中的可疑数据，以实现对代打卡情况的有效监控。
- 地图缺失道路的确定方法、装置、存储介质及电子设备-201910689748.X
- 刘国亮 - 北京三快在线科技有限公司
- 2019-07-29 - 2019-11-01 - G06F16/215
- 本公开涉及电子地图技术领域，具体涉及一种地图缺失道路的确定方法、地图缺失道路的确定装置、计算机可读存储介质及电子设备。在本公开的示例性实施方式中，地图缺失道路的确定方法包括：确定由多个运动轨迹点组成的对应于疑似缺失道路的轨迹点簇；获取所述轨迹点簇中的各个所述运动轨迹点的运动位置信息和运动方向信息；根据所述运动位置信息和所述运动方向信息确定所述疑似缺失道路为地图缺失道路的道路置信度。该方法不仅可以节约大量的人力成本，而且能够大幅提升地图缺失道路的确定效率和准确性，从而能够自动化地对电子地图进行高效且准确地路网补全。
- 数据过滤方法、装置、服务器及计算机可读存储介质-201910694094.X
- 胡映昕 - 秒针信息技术有限公司
- 2019-07-29 - 2019-11-01 - G06F16/215
- 本发明提供一种数据过滤方法、装置、服务器及计算机可读存储介质，涉及互联网技术领域。该方法包括：根据预设的第一频率阈值确定第二频率阈值，目标异常数据和初始异常数据的数据量的比值为预设比例阈值；从第一频率阈值和第二频率阈值中，确定目标频率阈值；根据目标频率阈值，对待监测的广告数据进行过滤。通过从第一频率阈值和第二频率阈值中选取一个频率阈值作为目标频率阈值，再通过目标频率阈值滤除广告数据中的异常数据，可以在不同情况下选取不同的频率阈值作为目标频率阈值，从而可以避免对正常数据进行过滤，也可以对异常数据进行准确过滤，提高了过滤广告数据中异常数据的准确性，提高了广告监测效果的准确性。
- 一种周期性侦察情报异常数据清洗方法-201710784137.4
- 王运锋 - 四川大学
- 2017-09-04 - 2019-11-01 - G06F16/215
- 本发明公开了一种侦察情报异常数据清洗方法，包括以下步骤：遍历所有维护的侦察目标列表，对本次收到的侦察情报数据，计算当前侦察数据与维护的侦察目标状态变化之间的关系，当侦察情报数据符合侦察目标运动状态时，判断为正确数据，否则认定为待清洗数据；检查维护的侦察目标列表，对本次之前加入维护侦察目标列表的临时目标，当无本次侦察情报数据满足其运动状态时，认定为之前加入的临时目标为异常侦察情报数据，进行清除；对本次认定为待清洗数据，作为一个待确认的临时目标，加入维护的侦察目标列表。
- 一种游戏监控系统及监控方法-201910487569.8
- 朱金余 - 上海黑桃互动网络科技股份有限公司
- 2019-06-05 - 2019-10-29 - G06F16/215
- 本发明公开了一种游戏监控系统，用于监控用户的游戏行为，包括：数据采集模块，用于采集关联于所述用户的游戏数据；第一智能预警模块，连接所述数据采集模块，用于对所述游戏数据中是否存在违规信息进行自动筛选，并基于筛选出的所述违规信息进行违规预警，本发明能够智能识别出玩家通过各种关键词替代方式绕过关键词检测的情况，处理速度快、准确率高，并且能够对游戏的推广渠道是否异常以及付费玩家是否流失进行智能监控、预警，有利于净化游戏环境，提高玩家的游戏粘性。
- 一种黑名单生成方法、装置、设备及介质-201910662443.X
- 郭启云;杨国彬;杨荣康;吴蕾;林雪娇;钱媛;张春泽;温凯 - 中国气象局气象探测中心;天津讯联科技有限公司
- 2019-07-22 - 2019-10-29 - G06F16/215
- 本发明实施例公开了一种黑名单生成方法、装置、设备及介质。方法包括：根据预设时间段内多个观测站点的历史观测数据序列和历史背景场数据序列，确定观测偏差阈值，其中，数据序列包括多个数据子序列，每一数据子序列与一个观测站点对应；获取目标观测站点在当前观测时刻检测的目标观测数据子序列和对应的目标背景场数据子序列，根据目标观测数据子序列、目标背景场数据子序列以及观测偏差阈值，确定目标观测数据子序列中的无效观测数据；当无效观测数据满足预设条件时，将目标观测站点添加至黑名单中。本发明实施例的技术方案能够提供生成包含观测站点的黑名单的理论判据，保证黑名单的准确性，进而保证观测数据的数据质量。
- 一种基于数据驱动的加氢裂化装置的尾油预测方法-201910663676.1
- 秦岭;尚钰焜;杨小健;苏清健 - 南京工业大学
- 2019-07-19 - 2019-10-29 - G06F16/215
- 本发明公开了一种基于数据驱动的加氢裂化装置的尾油预测方法。涉及数据挖掘与机器学习领域，该方法主要对石油装置尤其是加氢裂化装置采集来的历史数据进行分析，数据预处理阶段采用拉格朗日插值法等方法对数据进行清洗操作；在数据处理阶段，采用统计学PCA主成分分析方法进行降维，之后将主要变量送入神经网络模型；在建模阶段，由于该数据具有非线性时序强相关性，所以使用RNN循环神经网络进行训练，最后将训练的结果进行评价。本发明在满足准确率的情况下，克服了加氢裂化装置在传统建模中长期存在的维护难、成本高、滞后性等问题，使生产的效率有效提高。
- 定量变量到虚拟变量的数据预处理方法、装置及终端设备-201910540953.X
- 孙双 - 中国平安人寿保险股份有限公司
- 2019-06-21 - 2019-10-25 - G06F16/215
- 本发明适用于数据处理技术领域，提供了一种定量变量到虚拟变量的数据预处理方法、装置及终端设备，所述方法包括：获取数据源中的多个数据对象；将对应同一个对象属性且属于非数值数据的一组对象属性数据转化成一组数值数据，并作为一组定量变量；将对应同一个对象属性且属于数值数据的一组对象属性数据作为一组定量变量；每组所述定量变量组合成一个定量变量集合；计算每个所述定量变量集合的统计特征，若判定所述定量变量集合满足正态分布，则将每个所述定量变量归类至区间长度相等的多个预设数据区间，将其对应的预设虚拟变量作为每个所述定量变量的预处理结果。本发明对数值数据和非数值数据预处理，大大提升了数据预处理结果的数据量和质量。
- 基于远程监控系统的大型铁路施工设备实时运动仿真方法-201910632111.7
- 喻卫星;牛鹏飞;施成;叶兢;黄耀;谌轶鹏;余海;雷雪 - 中铁工程机械研究设计院有限公司
- 2019-07-12 - 2019-10-25 - G06F16/215
- 本发明公开了一种基于远程监控系统的大型铁路施工设备实时运动仿真方法，该方法包括以下步骤：1)对大型铁路施工设备按照运动部件进行拆分；2)对拆分后的部件布置传感器，采集监控数据；3)对传感器采集的监控数据进行预处理；4)根据设备拆分后的各个部件的图纸，绘制模拟动画的设备仿真模型；5)使用处理后的数据实现对动画模型的驱动：根据监控数据的实际值，折算成在模型上的坐标值，驱动模型进行动作。本发明根据远端施工设备上的实时数据，对设备的施工状态进行实时运动仿真，进行数据的可视化，更加有效和直观的呈现出用户需要的设备工作状态，使其更易于理解进而帮助用户做出分析诊断和决策。
- 一种车辆数据管理系统-201910672711.6
- 白勍;朱紫阳;张彦君 - 浙江吉利汽车研究院有限公司;浙江吉利控股集团有限公司
- 2019-07-24 - 2019-10-25 - G06F16/215
- 本发明提供了一种车辆数据管理系统，涉及车辆通信领域。车辆数据管理系统包括原始数据源模块、数据加工模块和工作流调度编排监控模块。原始数据源模块包括数据接收单元、临时存储单元和正式存储单元，数据接收单元用于通过云服务平台获取多个车辆的原始总线数据，并将所述原始总线数据存入所述临时存储单元；工作流调度编排监控模块用于生成第一控制指令并发送至所述数据加工单元；数据加工模块用于根据所述第一控制指令加载所述临时存储单元内的所述原始总线数据并对其进行加载、分类和归档处理，并将处理后的所述原始总线数据存入所述正式存储单元。本发明的能够自动将车辆自动驾驶产生的数据进行分类并存储、降低人工操作和执行成本。
- 数据修正方法及系统-201910689702.8
- 张家前;周辉;邹绍琨;张彦虎;何乐 - 合肥阳光新能源科技有限公司
- 2019-07-29 - 2019-10-25 - G06F16/215
- 本申请提供了一种数据修正方法及系统，该数据修正方法包括：判断储能设备测点值是否存在异常，若储能设备测点值存在异常，则采用三次指数平滑法对储能设备测点值的第一历史数据进行处理，或者，采用数据曲线对比法对储能设备测点值的第二历史数据进行处理；其中，第一历史数据为储能设备测点值当天的历史数据中的若干个数据；第二历史数据包括储能设备测点值当天的历史数据和在储能设备测点值当天之前每天的历史数据；根据处理后的数据得到储能设备测点值的替换值。采用三次指数平滑法或数据曲线对比法进行处理后，所得的储能设备测点值的替换值与真实值的误差较小，更能反映储能设备测点值的实际情况。
- 一种基于车联网数据对车主驻留点聚类后的属性分析方法-201610740061.0
- 侯志伟;耿文童;李旭 - 北京车网互联科技有限公司
- 2016-08-26 - 2019-10-25 - G06F16/215
- 一种基于车联网数据对车主驻留点聚类后的属性分析方法，所述方法首先通过对车主驻留点信息进行采集并聚类，再结合聚类后聚点的时间属性及通过逆地理编码得到的聚点空间属性进行分析，并对该点进行判断，最后获得车主驻留点的属性，本发明可以将车主的行程数据进行空间维度的处理，通过对驻留点的聚类编号简化了车主行程数据的空间信息，同时对聚类后点的时空属性进行分析，为进一步对车主行为习惯的分析提供夯实的数据基础。
- 一种处理负调查中不合理数据的方法-201710267513.2
- 赵冬冬;方舒;向剑文 - 武汉理工大学
- 2017-04-21 - 2019-10-25 - G06F16/215
- 本发明公开了一种处理负调查中不合理数据的方法，包括如下四个步骤：计算正调查的值；将不合理的数据进行调整；对于调整后的数据，计算由调整造成的差值分配到其他选项的比例；对于调整后得到的负调查的值，计算正调查的值等；在负调查重建正调查数据的过程中，本发明既可以处理负值这一类不合理的数据，也可以处理与背景知识相违背的不合理数据，并且取得较高的重建精度。
- 一种日志处理方法和装置-201910636576.X
- 付少波;王志华;喻波;王志海;董晓斌;董爱华 - 北京明朝万达科技股份有限公司
- 2019-07-15 - 2019-10-22 - G06F16/215
- 在本发明实施例公开了一种日志处理方法和装置，所述方法包括：在配置界面中，接收用户的配置的采集主体信息和清洗规则；根据所述目标采集主体信息，确定对应的目标采集主体，并从所述目标采集主体中采集源日志数据；根据所述清洗规则清洗所述源日志数据，获得第一日志数据；将所述第一日志数据存储至数据处理平台；在本发明实施例中，通过用户在页面的配置，能够选择采集多种采集主体的数据，不需要在采集不同采集主体时，编写不同脚本，提高了日志数据的采集效率，并且通过根据用户需要配置清洗规则，解决了现有技术日志数据处理方式和逻辑单一，清洗规则不够完善的问题。
- 大数据抽取样本数据的方法及系统-201910639791.5
- 张兴刚;郑羽 - 中国工商银行股份有限公司
- 2019-07-16 - 2019-10-22 - G06F16/215
- 本发明提供了一种大数据抽取样本数据的方法及系统。所述方法包括：获取数据抽取参数，所述数据抽取参数包括数据筛选条件及数据变形配置；根据所述数据抽取参数选取根节点，确定数据表依赖关系树，利用所述数据表依赖关系树构建数据表抽取顺序；根据所述数据表抽取顺序及所述数据抽取参数，生成抽取脚本；利用所述抽取脚本进行数据抽取，生成数据文件，将所述数据文件导入至目标数据库。本发明解决了现有的测试数据抽取方法中，没有考虑到表之间关联关系，从而导致抽取后无效数据较多的缺点，本发明可使抽取数据的有效性大大提高，使得测试环境有限的空间得以充分利用，与此同时，测试人员无需投入额外精力，树形结构及抽取顺序均可自动生成。
- 数据表的处理方法及装置、存储介质、电子装置-201910657267.0
- 王怀志;张毅然 - 北京明略软件系统有限公司
- 2019-07-19 - 2019-10-22 - G06F16/215
- 本发明提供了一种数据表的处理方法及装置、存储介质、电子装置，其中，上述方法包括：确定待处理的数据表中的每个字段以及所述每个字段对应的保存在数据库中的字段分类，其中，字段分类分别对应设置有部分规则；对于所述数据表中的每个字段，确定每个字段的部分规则的第一分数；根据每个字段的部分规则的第一分数确定所述待处理的数据表中所有字段的第二分数，其中，所述第二分数用于指示所述待处理的数据表的数据质量，采用上述技术方案，解决了相关技术中无法确定数据表的数据质量等问题。
- 数据处理方法及装置-201610379236.X
- 张锐 - 深圳市永兴元科技股份有限公司
- 2016-05-31 - 2019-10-22 - G06F16/215
- 本发明公开了一种数据处理方法，所述数据处理方法包括：根据用户确定的提取范围提取各个待合并数据库中的原始数据作为待合并数据；采用预设规则遍历所述待合并数据，确定所述待合并数据中是否存在错误数据；在所述待合并数据中存在待确定数据时将所述待合并数据进行合并，并标记合并数据中的待确定数据。本发明还公开了一种数据处理装置。本发明能够对数据的正确性进行判断，并标识其中的待确定数据，从而方便用户对数据进行修改，能够避免合并数据出现错误。
- 基于复杂事件处理引擎的动力环境监控方法及系统-201910487235.0
- 胡佳琳;陈天奇;李志晖;陈世荣 - 烽火通信科技股份有限公司
- 2019-06-05 - 2019-10-18 - G06F16/215
- 本发明公开了一种基于复杂事件处理引擎的动力环境监控方法及系统，涉及数据中心的动力与环境监控领域，该方法包括以下步骤：客户端设置复杂事件过滤规则，并根据所述复杂事件过滤规则生成订阅消息，所述订阅消息包括复杂事件过滤规则，及复杂事件过滤规则中客户端订阅数据的数据类别；服务端接收订阅消息并将所述订阅消息发送至采集端的采集端复杂事件处理引擎CEP；采集端根据所述数据类别，提供被监控设备对应类别的第一数据，采集端CEP根据复杂事件过滤规则过滤所述第一数据，将过滤后的第一数据发布至服务端，由服务端推送至客户端。本发明能提高动力环境监控系统的实时性和效率，并降低用户的带宽、存储投资。
- 专利分类
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
