[发明专利]基于分布式数据库实现证券核心交易系统中可视化可回溯的海量数据交互系统及其方法在审

专利信息
申请号: 202211693254.7 申请日: 2022-12-28
公开(公告)号: CN115840741A 公开(公告)日: 2023-03-24
发明(设计)人: 俞枫;刘传友;张忍;张伦鸿 申请(专利权)人: 国泰君安证券股份有限公司
主分类号: G06F16/215 分类号: G06F16/215;G06F16/25;G06F16/27;G06Q40/04
代理公司: 上海智信专利代理有限公司 31002 代理人: 王洁;郑暄
地址: 200041 上海市静安*** 国省代码: 上海;31
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明涉及一种基于分布式数据库实现证券核心交易系统中可视化可回溯的海量数据交互系统,其中,该系统包括:行级数据转储引擎,用于对大批量的文件、海量的数据进行端到端的收集、存储;行级数据清洗引擎,用于对海量数据基于需求进行有效化的筛选、提炼;批量数据生成引擎,用于客户数据结构化的批量导出管理;批量数据交互引擎,用于实现多组件多节点情形下精准下发文件;数据异常回溯处理引擎,用于保证异常情形下数据可回溯处理。本发明还涉及一种相应的方法。采用了本发明的该系统及其方法,相比于传统的交互方法速度可提升30倍以上,满足海量数据前提下具备高吞吐量、低延迟、易扩展、高可靠等特点,易于实现节点分布式部署、弹性扩缩容。
搜索关键词: 基于 分布式 数据库 实现 证券 核心 交易系统 可视化 回溯 海量 数据 交互 系统 及其 方法
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国泰君安证券股份有限公司,未经国泰君安证券股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/202211693254.7/,转载请声明来源钻瓜专利网。

同类专利
  • 数据库完整性评价方法、系统及其应用-202311102124.6
  • 李圣权;刘常军;任通;黄红叶 - 城云科技(中国)有限公司
  • 2023-08-29 - 2023-10-27 - G06F16/215
  • 本申请提出了数据库完整性评价方法、系统及其应用,包括以下步骤:以输入的待打分的目标表作为评分表,选择该评分表中的目标字段并赋予基础分数;根据目标字段调用不同类型的校验规则字段并设置对应的规则权重,以作为校验规范数据;获取评分表中所有的校验规范数据,根据校验规范数据中的规则权重创建权重矩阵;根据校验规则字段获取评分表中对应字段的数据,并创建第一矩阵;遍历评分表,判断是否能够匹配对应的评分规则逻辑;基于最终遍历结果生成当前记录匹配规则明细数据;根据第一矩阵和权重规则矩阵得到最终矩阵;根据最终矩阵对评分表的数据进行评分,并形成数据质量报告。
  • 基于低秩汉克矩阵的结构健康监测传感数据丢失恢复方法-202310769763.1
  • 陈思怡;王友武;倪一清 - 香港理工大学深圳研究院
  • 2023-06-27 - 2023-10-27 - G06F16/215
  • 本发明公开了一种基于低秩汉克矩阵的结构健康监测传感数据丢失恢复方法,包括:获取时间域上多通道的传感器数据,并形成汉克矩阵排列的传感器数据,具体为低秩矩阵;对汉克矩阵排列的传感器数据中的丢失数据进行补全,并得到时间域上多通道的传感器补全数据。本发明将时间域上多通道的传感器数据在通道上扩展形成汉克矩阵排列的传感器数据,且汉克矩阵排列的传感器数据为低秩矩阵,再对汉克矩阵排列的传感器数据中的丢失数据进行补全,得到汉克矩阵排列的传感器补全数据,最后得到时间域上多通道的传感器补全数据。本发明的方法能有效恢复不同模式下时间域上多通道的传感器数据的丢失数据,对多种数据丢失模式均具有较佳的恢复效果,且鲁棒性强。
  • 一种基于大数据模型算法的地址数据治理方法及其系统-202310899959.2
  • 周洋;翟猛;王俊磊 - 北京国信达数据技术有限公司
  • 2023-07-21 - 2023-10-27 - G06F16/215
  • 本发明公开了一种基于大数据模型算法的地址数据治理方法及其系统;使用基于BERT和ESIM的地址匹配模型进行地址匹配;其次,结合图网络和元胞自动机进行地址信息的动态更新和预测;(1)地址匹配精度提升:通过STEP‑A中的BERT和ESIM模型,该技术能够利用大数据模型对地址进行语义特征提取和相似度计算。这使得地址匹配更加准确和精细化,提高了地址匹配的精度。(2)地址数据变化预测:通过STEP‑B中的元胞自动机,该技术利用元胞的状态和转换规则来预测图网络在下一个时间步的变化。元胞自动机可以捕捉到地址数据的变化趋势和模式,有助于识别出潜在的地址变化和更新需求。这使得地址数据管理更加及时和精细化,帮助保持地址数据的时效性和准确性。
  • 元宇宙与子元宇宙互联互通的系统及其运行方法-202210377793.3
  • 董辰;鲍智成;许晓东;韩书君;王碧舳 - 北京邮电大学
  • 2022-04-12 - 2023-10-27 - G06F16/215
  • 本公开涉及通信技术领域,尤其涉及元宇宙与子元宇宙互联互通的系统及其运行方法。具体实现方案为:多个相互通信连接的元宇宙模块,每个元宇宙模块连接多个用户,每个元宇宙模块包括一个或多个子元宇宙模块,每个子元宇宙模块与其对应的元宇宙模块通信连接;每个元宇宙模块及每个子元宇宙模块对应一个独立的数据库,并通过对应的数据库与其它的元宇宙模块及子元宇宙模块共享数据,并通过控制对应的数据库的外模式来控制共享权限。通过将元宇宙与子元宇宙互联互通,实现基础数据的共享,能够减少用户的隔阂感,以及减少数据重复存储,节约内存空间,提高数据复用效率。
  • 洗衣机数据清洗方法、装置、设备、存储介质及程序产品-202210403877.X
  • 姜磊;邹存璐;许升 - 青岛海尔洗衣机有限公司;海尔智家股份有限公司
  • 2022-04-18 - 2023-10-27 - G06F16/215
  • 本发明实施例提供一种洗衣机数据清洗方法、装置、设备、存储介质及程序产品,该方法包括:获取第一数据集合,其中,第一数据集合中包括多条原始洗衣数据,每条原始洗衣机数据中包括多个字段,每个字段包括一个数据类型以及与数据类型对应的数据值;针对每条原始洗衣数据中的每个字段,根据字段的数据类型和数据值,添加字段的数据标识,以得到第二数据集合,其中数据标识用于表征字段的数据值为异常值或正常值;响应于用户的输入操作,获取数据清洗规则;根据目标字段,以数据清洗规则中的第一数据标准和数据标识为筛选条件,对第二数据集合中每条添加标识的洗衣机数据进行清洗,得到目标数据集合。本申请的方法,增加了洗衣机数据的有效性。
  • 一种基于元数据的虚拟监测仪器及系统-202311063731.6
  • 李宏;邓少勋;梁城月;李波;李春雷 - 贵州比特软件有限公司
  • 2023-08-23 - 2023-10-27 - G06F16/215
  • 本发明公开了一种基于元数据的虚拟监测仪器及系统,包括仪器数据处理与分析软件、虚拟仪器组合使用、数据持久化和储存;仪器数据处理与分析包括软件平台、定义元数据、数据调用引用一、数据处理分析一、数据展示和可视化,虚拟仪器组合使用包括定义虚拟仪器、数据采集、数据调用引用二、数据处理分析二、数据展示验证,数据持久化和储存包括定义数储存结构、数据储存优化、数据读取和引用、数据备份和恢复。本发明与现有的技术相比的优点在于:采用元数据,对仪器种类中的参数、字段进行定义,将定义好的仪器进行组合,成果可调用内部组合仪器或外部仪器数据进行计算;动态图表展示、数据动态分析。
  • 控制数据产品生命周期的方法、装置及电子设备-202210397362.3
  • 崔金涛;叶玮彬;刘涛 - 北京百度网讯科技有限公司
  • 2022-04-15 - 2023-10-27 - G06F16/215
  • 本公开提供了一种控制数据产品生命周期的方法、装置及电子设备,涉及数据处理技术领域,尤其涉及大数据领域。具体实现方案为:获取目标数据产品在数据生命周期中不同阶段分别对应的数据产品属性,其中,数据生命周期包括:多个阶段,目标数据产品在数据生命周期中不同阶段之间进行状态流转;按照数据产品属性确定数据生命周期中不同阶段对应的数据适用范围;基于目标数据产品在数据生命周期中不同阶段对应的数据状态和数据适用范围,对目标数据产品进行数据约束审核,得到审核结果;利用审核结果重新调整目标数据产品在数据生命周期中不同阶段之间的状态流转。
  • 一种车道连通的检查方法、装置及电子设备-202210632525.1
  • 王少帅 - 北京罗克维尔斯科技有限公司
  • 2022-06-06 - 2023-10-27 - G06F16/215
  • 本公开涉及一种车道连通的检查方法、装置及电子设备,涉及电子地图技术领域。其中,该方法包括:从当前电子地图中,获取第一车道的端点位置信息;根据端点位置信息,确定至少一个目标点的位置信息;在至少一个目标点中存在目标车道端点的情况下,确定目标车道端点所在第二车道与第一车道连通。本公开实施例减少了车道连通性检查所消耗的时间,提升了车道连通性检查的效率。
  • 业务数据一致率校验方法和装置-202311213203.4
  • 杨良志;白琳;汪志新;朱彩霞;叶楠;张云康;杜文昊 - 彩讯科技股份有限公司;广州彩讯数字技术有限公司
  • 2023-09-20 - 2023-10-27 - G06F16/215
  • 本申请公开提供了一种业务数据一致率校验方法和装置,涉及业务数据一致率校验技术,该方法中的动态拆分校验过程包括:若校验任务的校验工作量超出处理器的当前任务执行能力,则根据校验工作量和处理器的当前任务执行能力,将校验任务拆分成至少两个子任务;将处理器的当前任务执行能力拆分成至少两条子任务线,每条子任务线包含数据比对功能、更新任务生成功能和数据同步功能;每个子任务根据子任务线空闲情况,寻找一条满足相应工作量要求的子任务线进行组合,形成一个任务执行组;每个任务执行组执行完成相应子任务后,释放对应的任务线资源,解决了现有技术中业务数据一致率校验依赖人工导致的效率低、出错率高的问题。
  • 一种追踪数据的存储方法、装置、设备以及存储介质-202210402976.6
  • 代震 - 北京罗克维尔斯科技有限公司
  • 2022-04-18 - 2023-10-27 - G06F16/215
  • 本公开提供了一种追踪数据的存储方法、装置、设备及存储介质,所述方法包括:在接收第一追踪数据后,将第一追踪数据与预设规则进行匹配,其中,预设规则为基于异常追踪数据的特征确定,如果确定第一追踪数据与预设规则匹配成功,则将第一追踪数据存储到持久化存储模块。可见,本公开实施例能够基于追踪数据的特征,更细粒度的确定存在异常的追踪数据,提高了追踪数据采样的精准度。
  • 一种基于新媒体运营的培训管理方法-202310951552.X
  • 童毅;沈敏 - 博拉网络股份有限公司
  • 2023-07-31 - 2023-10-27 - G06F16/215
  • 本发明涉及新媒体运营和培训领域,具体为一种基于新媒体运营的培训管理方法。该方法通过实时收集直播平台的数据、对数据进行清洗和结构化,并对数据进行深度分析和预测潜在的热门趋势,为后续的内容创作提供指导。在制定内容创作策略并进行内容创作之后,通过上传到直播平台和培训中心课程,让用户能够进行学习和交互,并且收集用户学习行为数据,以便进行统计和分析,以优化培训内容和教学方法。此外,该方法还包括内容评审步骤,以确保视频内容的质量和准确性。该方法可以更好地利用新媒体平台,帮助用户更有效地吸引观众,提高内容的传播效果和影响力,同时为用户的学习提供个性化的指导和优化,提升整体培训管理效果和用户满意度。
  • 一种基于流批一体的数据湖构建系统、方法及装置-202310949987.0
  • 钟秋;万文兵;杨颖 - 江苏苏宁银行股份有限公司
  • 2023-07-31 - 2023-10-27 - G06F16/215
  • 本发明公开了一种基于流批一体的数据湖构建系统、方法及装置,包括数据获取模块,用于获取流数据和批数据;标准化模块,用于对流数据和批数据分别进行数据清洗,得到标准流数据和标准批数据,将标准流数据和标准批数据进行持久化;数据整合模块,用于对持久化的数据进行数据建模,生成实时数仓与离线数仓,并关联实时数仓与离线数仓;数据访问模块,用于获取关联的实时数仓与离线数仓,生成数据湖,对数据湖的数据进行数据聚合。本发明提供的基于流批一体的数据湖构建系统、方法及装置,通过数据湖的构建,提高数据的利用率和处理效率,关联实时数据和离线数据对业务数据进行处理和管理。
  • 一种基于时空自动编码的传感器数据补全方法-202310742669.7
  • 宦若虹;蒋程西 - 浙江工业大学
  • 2023-06-21 - 2023-10-27 - G06F16/215
  • 本发明公开了一种基于时空自动编码的传感器数据补全方法,将待处理数据序列输入到时空解码器中,通过时序编码模块和空间编码模块,分别提取时序编码特征和空间编码特征,然后将时序编码特征和空间编码特征相加,再通过一个全连接层,映射得到潜在空间中的潜在变量;然后将潜在变量输入到时空解码器,先通过一个全连接层,然后通过时空解码模块进行解码,得到补全的数据序列。本发明更准确地对缺失数据进行填补,提高模型的泛化性能和补全效果,具有更强的鲁棒性。
  • 文件的修复方法、装置、终端设备和可读存储介质-202310924032.X
  • 孙丽 - 深圳软牛科技有限公司
  • 2023-07-25 - 2023-10-27 - G06F16/215
  • 本申请适用于修复技术领域,提供了一种文件的修复方法、装置、终端设备和可读存储介质。上述文件的修复方法包括:获取待修复文件,待修复文件为损坏的SVG文件;从待修复文件中提取出所有SVG节点;对破损SVG节点进行修复,得到修复SVG节点;对破损子节点进行修复,得到修复子节点;根据完整SVG节点、完整子节点、修复SVG节点以及修复子节点,生成修复文件。本申请实施例通过对待修复文件中的破损SVG节点以及破损子节点进行修复,并根据完整SVG节点、完整子节点、修复SVG节点以及修复子节点得到修复文件,实现了对破损的SVG文件的修复,使得修复后的SVG文件能正常打开。
  • 一种生产运营数据资产管理系统-202310951705.0
  • 李伟;罗菊;魏川;王祎;杨晏川;赵茂伸 - 重庆信科设计有限公司
  • 2023-07-31 - 2023-10-27 - G06F16/215
  • 本发明公开了一种生产运营数据资产管理系统,涉及资源管理系统领域,本发明的技术方案如下,包括数据库与资源规划:包括信息资源的采集、处理、存储、传输、使用、转换和评价,以实现系统各个层级的集成;数据中台:包含数据采集平台、数据治理平台和数据共享交换平台。能够有效推进信息化建设,并行信息数据规划,实现数据资源的共享与交换,提高协同工作能力。
  • 数据处理方法、装置、电子设备及存储介质-202310090634.X
  • 刘全赟 - 腾讯科技(深圳)有限公司
  • 2023-02-09 - 2023-10-27 - G06F16/215
  • 本公开关于数据处理方法、装置、电子设备及存储介质,涉及人工智能技术领域,包括:获取目标对象对应的多个交互描述信息;对多个交互描述信息进行分词处理,得到多个描述分词信息;确定多个描述分词信息中的至少一种高频分词信息;对至少一种高频分词信息进行描述覆盖分析,得到第一覆盖指标信息和对应的第二覆盖指标信息;基于第一覆盖指标信息和第二覆盖指标信息,对多个交互描述信息进行类型分析,得到目标描述类型;基于目标描述类型,对多个交互描述信息进行筛选处理,得到目标对象对应的描述概括信息。利用本公开实施例可以实现针对不同目标描述类型的交互描述信息的自适应处理,进而可以提高后续审核以及进一步地进行数据分析的效率。
  • 一种基础数据初始化方法、装置及介质-202310694975.8
  • 张银 - 中国建设银行股份有限公司;建信金融科技有限责任公司
  • 2023-06-13 - 2023-10-27 - G06F16/215
  • 本发明涉及数据处理领域,尤其涉及一种基础数据初始化方法、装置及介质,该方法包括:获取数据库语句;数据库语句对应第i个子文件,第i个子文件为基础数据中的第j个类型文件集合中的任意一个子文件;其中,i和j为正整数;检查数据库语句的属性参数与第i个子文件的属性参数是否一致;在数据库语句的属性参数与第i个子文件的属性参数一致时,确定数据库语句解析成功。通过该方法可以解决现有的基础数据初始化解析存在正确性无法保证的问题。
  • 一种融合位置和语义约束的多源POI数据清洗方法-202210613379.8
  • 陈振杰;许长青;徐润鹏;周琛;曾智伟;夏南;马磊;陈东 - 南京大学
  • 2022-05-31 - 2023-10-27 - G06F16/215
  • 本发明涉及一种融合位置和语义约束的多源POI数据清洗方法,属于数据处理技术领域。该方法执行如下步骤:步骤1,对收集到的多源POI数据进行GeoHash转换;步骤2,对转换后的字符串进行邻近点查询;步骤3,对步骤2中存在邻近点的窗口进行冗余处理;步骤4,构建分词方案;步骤5,对步骤4处理后的数据进行冗余处理;步骤6,基于步骤5重新构建的分词方案的词频统计完成POI数据重匹配。该方法能更加准确高效地完成数据清洗工作,清洗结果更加优秀,更切合实际且行之有效。
  • PostgreSQL Standby模式下实现查询与恢复互不冲突的方法-202110293086.1
  • 程永新;孙玉颖;魏强 - 上海新炬网络信息技术股份有限公司
  • 2021-03-18 - 2023-10-27 - G06F16/215
  • 本发明公开了一种PostgreSQL Standby模式下实现查询与恢复互不冲突的方法,在PostgreSQL备用数据库中运行Undo Monitor进程,当监测到正在运行的查询SQL与需要进行恢复或清理的数据块存在冲突时,唤醒Undo Worker进程,将查询SQL的上下文信息以及需要恢复或者清理的数据块内的行数据复制到Undo日志中;PostgreSQL备用数据库进行数据块的恢复或者清理,查询SQL在Undo日志复制的行数据中进行数据查询,实现查询与恢复以及查询与清理的互不冲突。本发明基于Undo,实现查询与恢复以及查询与清理的并发进行,保证查询与恢复以及查询与清理互不冲突的工作。
  • 电力异常信息发送方法、装置、电子设备和介质-202211299555.1
  • 王国娟;侯丽雯;刘安诺 - 北京国电通网络技术有限公司;国网信息通信产业集团有限公司
  • 2022-10-24 - 2023-10-27 - G06F16/215
  • 本公开的实施例公开了电力异常信息发送方法、装置、电子设备和介质。该方法的一具体实施方式包括:从电力业务数据平台中获取每个电力业务对应的各个电力业务初始信息,得到电力业务初始信息组集;对于电力业务初始信息组集中的每个电力业务初始信息组,执行如下生成步骤:对电力业务清洗信息进行数据转换处理,以生成电力业务信息;将所生成的各个电力业务信息确定为电力业务信息集;对于电力业务信息集中的每个电力业务信息,执行如下处理步骤:基于电力业务信息,生成电力异常信息组;将电力异常信息组对应的电力检验信息通过内网邮箱发送至电力异常信息组对应的电力终端。该实施方式可以提高电力检验信息的时效性。
  • 一种改进的分层注水数据清洗方法-201910415497.6
  • 王海英;赵国堡 - 哈尔滨理工大学
  • 2019-05-18 - 2023-10-27 - G06F16/215
  • 一种改进的分层注水数据清洗方法,为了解决现有技术中的油田分层数据清洗方法,在应对大数据环境下的高维数据时显得特别乏力,插补策略存在无法对数据的缺失情况进行判定的问题;本申请包括根据原始数据确定影响瞬时流量的t个因素;检测步骤S1确定的t个因素,并进行显著性验证;对原始数据进行分类,通过关联方程进行迭代分析,得到完整的数据集;对步骤S3的插补精度进行验证。在分层注水数的数据插补工作,完成对分层注水缺失值数据的数据清洗工作。
  • 一种调整IC卡刷卡时间的方法和设备-202010488832.8
  • 杨明;王新磊;杨泮涛 - 青岛海信网络科技股份有限公司
  • 2020-06-02 - 2023-10-27 - G06F16/215
  • 本发明公开一种调整IC卡刷卡时间的方法和设备,用于解决根据IC卡数据统计的站点的上车人数不准确的问题。该方法,确定与IC卡刷卡时间对应的车辆的首站的离站时间和末站的到站时间,调整IC卡刷卡时间,以使最小刷卡时间与首站的离站时间重合,根据第一预设时长调整N次该调整后的IC卡刷卡时间,确定每次调整后的IC卡刷卡时间在每站的到站时间和离站时间之间的概率,将最大概率对应的IC卡刷卡时间作为目标IC卡刷卡时间。通过预设时长整体多次调整IC卡刷卡时间,将更多的IC卡刷卡时间匹配到到站时间和离站时间之间,进而能够通过目标IC卡刷卡时间更准确的统计每个站点的上车人数。
  • 交易数据智能处理方法、装置及计算机可读存储介质-201811503719.1
  • 刘东宝;全力 - 平安科技(深圳)有限公司
  • 2018-12-10 - 2023-10-27 - G06F16/215
  • 本发明公开了交易数据智能处理方法,该方法包括:按照预设时间间隔,从预设数据库筛选原始交易数据,并将筛选得到的原始交易数据导出至预设格式的电子表格中;设定数据清洗与整理规则,利用VBA函数根据所述数据清洗与整理规则对所述电子表格的交易数据进行数据清洗与整理;利用VBA函数将所述清洗与整理后的交易数据一键导出到台账服务器。本发明还提出一种交易数据智能处理装置以及一种计算机可读存储介质。本发明实现了台账数据的智能处理,提高数据录入的效率和准确性。
  • 一种铁路信号集中监测系统数据清洗方法及系统-202310927064.5
  • 杨睿;赵浩森;张宁;尹春雷;胡轶超 - 北京全路通信信号研究设计院集团有限公司;中国铁路通信信号股份有限公司
  • 2023-07-27 - 2023-10-27 - G06F16/215
  • 本发明属于轨道交通信号处理技术领域,特别涉及一种铁路信号集中监测系统数据清洗方法及系统,首先通过将铁路信号的原始监测数据划分到不同级别的桶中进行处理,再分别对最小单元的桶内的监测数据进行单独清洗和分析,再将分析后的数据进行逐级合并;上述方法可以将监测数据中同类型、同时间段或者相似度较大的监测数据分开处理,可以简化整个数据清洗的难度,也可以节省聚类分析的时间,可以更为有效地识别和处理异常数据,通过补全或者剔除异常数据的方式,从而提高数据的质量,同时因为该方法中可以对数据进行预处理,从而减少模型需要处理的数据量,提高模型的效率和准确性,也可以缓解模型准确度不够的问题。
  • 基于Openstack清理冗余数据的方法及装置-202310960475.4
  • 田晋丞;李飞;刘无敌;刘琼;姜海昆;范宇 - 长扬科技(北京)股份有限公司
  • 2023-08-02 - 2023-10-27 - G06F16/215
  • 本发明涉及云计算技术领域,特别涉及一种基于Openstack清理冗余数据的方法及装置,包括:对Openstack前端上传的数据进行监测,当监测到目标数据上传完成,则计算目标数据的唯一性码;确定云端数据库中是否存在与目标数据的唯一性码相同的存储数据;若存在,则基于存储数据的冷热状态,确定是否可将目标数据删除;若可删除,则将目标用户的Openstack前端针对目标数据的数据指针指向存储数据;若不可删除,则将目标数据存储到云端数据库中,并将目标用户的Openstack前端针对目标数据的数据指针指向云端数据库中存储的目标数据。本方案,能够对不同用户上传的相同数据进行清理,以最大化利用硬件存储空间。
  • 一种数据实时质量监测方法、电子设备及存储介质-202310970332.1
  • 翁剑英;王殿胜;张博;唐红武;吴月;王靖琦 - 中航信移动科技有限公司
  • 2023-08-03 - 2023-10-27 - G06F16/215
  • 本发明提供了一种数据实时质量监测方法、电子设备及存储介质,方法包括:获取数据源对应的目标数据表;根据目标数据表,获取字段内容列表集T=(T1,T2,…,Ti,…,Tm);根据Ti,获取第i个字段对应的字段类型Zi;若Zi为第一预设字段类型,则对Ti中的各字段内容进行相同聚类,以得到第一聚类结果ZT;若相同聚类后得到的字段内容组的数量小于枚举项数量阈值,则获取枚举项集MZ;根据MZ生成第i个字段对应的第一数据监测规则Gi,Gi规定来自所述数据源的待监测数据的第i个字段内容需要属于MZ。本发明提供的方法能够自动生成数据监测规则,及时发现异常数据,对数据质量监测的准确性比较高。
  • 一种地下水位监测数据缺失的修复方法-202310591040.7
  • 孙永华;张王宽;成星路;曹许悦;王衍昭 - 首都师范大学
  • 2023-05-24 - 2023-10-27 - G06F16/215
  • 本发明公开了一种地下水位监测数据缺失的修复方法,所述方法包括以下步骤:步骤1、获取并整理地下水位监测数据形成地下水时空数据集;步骤2、利用BTF模型对含有缺失值的时间序列数据进行插值;步骤3、利用孤立森林模型对插值后的时间序列数据进行异常值检测;步骤4、对时间序列数据进行再次插值直至数据修复完整。本发明所述方法有效克服了单纯采用BTF插值方法时会产生部分异常值的缺陷,提高了插值结果的可靠性和准确性;适用于地下水监测数据长时间序列缺失的状况,解决了现有方法对时间序列连续缺失数据插补质量差、无法贴合真实时间序列变化趋势的问题,准确性好,适用度高。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top