“海量数据运算”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果2553856个，建议您升级VIP下载更多相关专利

[发明专利]一种海量数据存储方法-CN200810216695.1有效
发明人：陈闽峰;邓鹍 -专利权人：深圳市蓝韵实业有限公司
申请日： 2008-10-07 - 公布日： 2009-04-01 - 主分类号： G06F19/00 文献下载
摘要：本发明公开了一种海量数据存储方法，读取DICOM图像文件，根据其中特定的数据元素，对所述DICOM图像文件进行存储，包括步骤：A1.建立树结构目录的根目录；A2.求取所述DICOM图像文件中的一种唯一性标识的本发明海量数据存储方法利用需存储的文件内容进行一定的运算从而确定文件的存储地址，而不是使用索引文件来记录文件的存储地址，而且是根据文件中的唯一性标识计算出哈希值作为文件目录，赋予目录名称具体的语意特性，
一种海量数据存储方法

[发明专利]一种构建客户画像的大数据平台及构建方法-CN202010268302.2在审
发明人：刘晓华;李剑;齐勇;张黎新;李阳;柏青;全龙翔;李艳;贾峰;赵鑫;常海赐 -专利权人：国网新疆电力有限公司;国网新疆电力有限公司电力科学研究院
申请日： 2020-04-07 - 公布日： 2020-09-08 - 主分类号： G06F16/27 文献下载
摘要：本发明采用的一种构建客户画像的大数据平台，包括用以接入客户电网数据的数据接入层，依照客户电网数据的使用特点提供对应存储技术的数据存储层、针对客户电网数据提供数据处理及计算引擎的数据计算层、对客户电网数据进行统计检索分析的数据分析层以及对接所述数据接入层、数据存储层、数据计算层及数据分析层提供数据服务的数据应用层。本发明的大数据平台，从客户电网数据的角度出发，将监测数据海量小文件组合成大的序列文件，并压缩存储，可将客户电网数据的标签信息组合起来，经过巨量的逻辑运算形成客户画像。
一种构建客户画像数据平台方法

[发明专利]一种储能电站海量数据清洗方法及系统-CN201510181094.1有效
发明人：李相俊;郑昊;姚继锋;惠东;王向前;徐琛;王立业;董文琦;岳巍澎;郭光朝;贾学翠;张亮;汪奂伶;郑高 -专利权人：中国电力科学研究院;国家电网公司;国网新源张家口风光储示范电站有限公司;国网福建省电力有限公司;国网福建省电力有限公司电力科学研究院
申请日： 2015-04-16 - 公布日： 2019-05-21 - 主分类号： G06F16/21 文献下载
摘要：本发明提供了一种储能电站海量数据清洗方法及系统，该方法包括以下步骤：I、定位并替换储能电站数据集中的缺省值；II、定位并替换所述数据集中的异常值；III、根据所述储能电池数据的不同类别特征，在替换后获得的数据集中确定不合理数据本发明的方法和系统既实现海量电池数据清洗，又能够保证海量数据分布式处理要求，实现了综合考虑K近邻算法、拉依达准则法、分布式处理等的储能电站海量电池数据优化清洗与预处理目的，提高大容量电池储能电站海量数据的与预处理与利用效果
一种电站海量数据清洗方法系统

[发明专利]一种基于HDFS海量数据快速导入HBase的方法-CN201710124754.1在审
发明人：乔晋伟 -专利权人：郑州云海信息技术有限公司
申请日： 2017-03-03 - 公布日： 2017-06-27 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种基于HDFS海量数据快速导入HBase的方法，其特征在于，包括以下步骤步骤1从数据源提取数据并以流的方式上传到HDFS；步骤2用编程模型对数据进行筛选运算和处理，生成HBase的底层数据存储的文件HFile；步骤3判断HBase数据库中是否有HBase表；若没有，在HBase数据库建HBase表，并在建表时对所建的HBase表进行预分区，若有，执行步骤4；步骤4将文件在HDFS上的位置传递给区域服务器Region Servers，利用Region Server将数据导入到相应分区目录下，完成与HBase表的关联，实现数据导入。
一种基于 hdfs 海量数据快速导入 hbase 方法

[发明专利]一种数据处理方法和芯片-CN202110605892.8有效
发明人：王嘉诚;张少仲 -专利权人：神威超算（北京）科技有限公司
申请日： 2021-06-01 - 公布日： 2021-09-24 - 主分类号： H04N5/265 文献下载
摘要：本发明涉及一种数据处理方法和芯片，该方法包括：接收来自至少一个节点的原始视频数据；针对每一个节点，均执行：对该节点的原始视频数据进行合并，得到浓缩视频数据；对浓缩视频数据进行哈希运算，得到哈希值；根据哈希值确定对应的内存队列，并将哈希值对应的浓缩视频数据缓存至对应的内存队列；其中，内存队列中缓存有至少一个节点对应的浓缩视频数据；根据预设延迟规则将至少两个内存队列所缓存的浓缩视频数据发送至对应的接收端。本方案能够提高海量视频数据的处理效率。
一种数据处理方法芯片

[发明专利]具有增减量功能的海量微博数据分布式分类装置及方法-CN201310732005.9有效
发明人：王国仁;信俊昌;聂铁铮;赵相国;丁琳琳 -专利权人：东北大学
申请日： 2013-12-26 - 公布日： 2017-01-18 - 主分类号： G06F17/30 文献下载
摘要：本发明一种具有增减量功能的海量微博数据分布式分类装置及方法，属于数据挖掘技术领域，本发明克服了以往的利用极限学习机技术仅能分布式地处理海量微博数据而不能有效地处理微博数据更新的缺陷，良好地解决了针对海量微博数据中数据频繁更新的问题，充分利用了海量微博数据的效用，起到了更好的为应用服务的效果。
具有增减功能海量数据分布式分类装置方法

[发明专利]一种面向制造物联网海量乱序数据流复杂事件检测方法-CN201410719615.X在审
发明人：程良伦;王建华 -专利权人：广东工业大学
申请日： 2014-11-28 - 公布日： 2015-03-11 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种面向制造物联网海量乱序数据流复杂事件检测方法，本发明主要针对制造物联网海量乱序数据流事件检测检测效率低下的问题，提出一种使用ENFA(ExtendedNondeterministicFiniteAutomaton)对海量乱序数据流中的事件进行选择和利用哈希表结构的存储关系对海量乱序数据流中事件进行处理，从而实现海量乱序数据流中复杂事件检测的方法，改进了当前基于自动机的复杂事件模式检测方法，对现有的复杂事件检测技术进行扩展，使其能够比较高效地在海量乱序数据上完成复杂事件的检测，提高其检测效率。
一种面向制造联网海量序数复杂事件检测方法

[发明专利]基于海量日志数据实时监控的分散标签特征提取方法-CN202110318883.0在审
发明人：王建宁 -专利权人：上海佰粒科技有限公司
申请日： 2021-03-25 - 公布日： 2021-07-02 - 主分类号： G06F11/30 文献下载
摘要：本发明公开了基于海量日志数据实时监控的分散标签特征提取方法，包括以下步骤：S1.建立规范化的海量日志数据；S2.对海量日志数据进行处理；S3.对处理后的海量日志数据进行划分；S4.通过划分后的日志数据进行监控；S5.根据日志数据构建标签特征；S6.将标签特征中关键信息的字符串转换为正则表达式；S7.提取标签特征。本发明的提取方法，能够通过海量日志数据进行实时监控，保证了数据信息的实时性和有效性，有利于数据信息的高效检索及查询，同时基于海量日志数据，建立了软件运行中正确的标签特征，便于维护人员的人工的检查和理解，
基于海量日志数据实时监控分散标签特征提取方法

[发明专利]一种数据比对检测方法及系统-CN202010317277.2在审
发明人：刘维炜;谢永胜 -专利权人：浙江华途信息安全技术股份有限公司
申请日： 2020-04-21 - 公布日： 2020-08-25 - 主分类号： G06F16/31 文献下载
摘要：本发明披露一种数据比对检测方法及系统，包括：有海量数据集，制定数据集检测策略，根据数据集检测策略生成检测数据集；对被检测对象进行分词，生成分词表；在检测数据集中确定比对关键词及其数据类型，在分词表中查找所述比对关键词的数据类型，并提取所有符合该数据类型的比对值；通过哈希方式，在海量数据集字段集合中查找并提取所有匹配的比对值，生成比对数据集；判断分词表中是否有比对数据集中n个字段的组合数据集，本发明是一种基于哈希方式进行海量数据精确查找和匹配的方法和系统，运用于海量数据防泄漏技术中，提高海量数据精确比对效率，降低存储和计算开销。
一种数据检测方法系统

[发明专利]一种海量数据清洗方法及装置-CN201210289550.0有效
发明人：刘欣 -专利权人：阿里巴巴集团控股有限公司
申请日： 2012-08-15 - 公布日： 2016-10-12 - 主分类号： G06F17/30 文献下载
摘要：本申请公开了一种海量数据的清洗方法及装置，该方法首先配置数据清洗规则文件，并能够根据数据清洗规则的表名，获取待清洗数据表对应的数据清洗规则，并自动生成清洗代码执行清洗，在清洗过程中为待清洗的每条数据打上标签，通过标签解析，分析出数据触发了哪条数据清洗规则，从而进行相应的清洗处理。本申请的海量数据清洗装置包括数据规则配置模块，数据清洗代码生成模块，执行模块和解析模块，根据本申请公开的海量数据清洗方法对海量数据进行清洗。本申请能够对海量数据进行有效的清洗，效率高，清洗出的脏数据被分类保留，可以精确定位每一条脏数据的来源去向。
一种海量数据清洗方法装置

[发明专利]一种电力多维全景数据的预处理系统-CN201611247497.2有效
发明人：黄良;赵立进;吕黔苏;杨涛;吴建蓉;王波;陈思远;林刚;张亚茹;赵芳菲 -专利权人：贵州电网有限责任公司电力科学研究院
申请日： 2016-12-29 - 公布日： 2019-11-26 - 主分类号： G06F16/215 文献下载
摘要：本发明涉及一种电力多维全景数据的预处理系统，包括依次相连的数据清洗模块、数据存储与检索模块和数据的价值提取模块。本发明的电力对位全景数据的预处理方法生成系统，能有效处理来自电力系统的海量交易数据、海量交互数据和海量处理数据，快速判断数据类型并提取数据价值。
全景数据预处理预处理系统处理数据电力系统方法生成检索模块交互数据交易数据快速判断数据存储数据类型数据清洗提取模块提取数据依次相连有效处理对位多维

[发明专利]一种快速导入海量数据的方法-CN201510959903.7在审
发明人：郭美思 -专利权人：浪潮集团有限公司
申请日： 2015-12-21 - 公布日： 2016-06-01 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种快速导入海量数据的方法，所述方法采用预处理阶段及分布式处理海量数据相结合方式，涉及的结构包括：1）预处理Region模块、2）分布式处理生成HFile模块、3）最终导入模块。本发明提供了一种快速导入海量数据的方法，从而实现快速导入海量数据到分布式集群中，满足用户的需求。
一种快速导入海量数据方法

[发明专利]云存储系统间海量数据迭代迁移方法、设备及存储介质-CN202010062561.X有效
发明人：雷雷 -专利权人：深圳奥思数据科技有限公司
申请日： 2020-01-20 - 公布日： 2023-06-06 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种云存储系统间海量数据迭代迁移方法、设备及存储介质，所述方法包括数据迭代迁移：使用统一的数据传输接口将源云存储系统的海量数据迭代迁移至目标云存储系统，所述海量数据迭代迁移包括数据的迁移、更新、检查及日志记录，所述海量数据迭代迁移使用并发进程进行数据的传输已经数据校验及数据统计输出。本发明能在完全不同的云存储系统间，可以在不用重新编写不同的适用于云存储系统间的数据传输接口以及在不停机、不影响双方的正常业务运行的前提下，实现包括海量数据的数据迁移、数据更新、以及数据校验、日志记录等过程
存储系统海量数据迁移方法设备存储介质

[发明专利]一种基于HBase的海量网管数据采集和存储方法-CN201410415962.3在审
发明人：任春韶;张登银;杨建东 -专利权人：南京邮电大学
申请日： 2014-08-22 - 公布日： 2014-12-17 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于HBase的海量网管数据采集和存储方法。该方法根据海量网络管理数据并结合HBase存储的特点，设计了事件驱动的海量网络管理数据采集和存储一体方案，利用Hadoop分布式计算和HBase分布式列式存储，使具有海量网络管理数据的采集和入库的并行化、针对融合网络不同网络设备数据采集的可扩展性强、方案实现简单。
一种基于 hbase 海量网管数据采集存储方法

[发明专利]海量存储类设备加密方法、主控制器及接入设备-CN202011367255.3有效
发明人：李健 -专利权人：海光信息技术股份有限公司
申请日： 2020-11-27 - 公布日： 2023-03-14 - 主分类号： G06F21/60 文献下载
摘要：本申请提供一种海量存储类设备加密方法、主控制器及接入设备，方法包括：获取海量存储类设备的特征信息；根据海量存储类设备的特征信息生成密钥；使用密钥加密传输给该海量存储类设备的普通数据。这样，通过利用海量存储类设备的特征信息来生成密钥，从而使用密钥加密传输给海量存储类设备的普通数据，提高了海量存储类设备中的数据安全性。此外，由于是利用海量存储类设备自身的特征信息来生成的密钥，从而可以降低加密成本，且减少加密对于设备的传输速度的影响。此外，本申请实施例的方案对于海量存储类设备侧不需要进行专门的改动，即不需要专门制作的带有加解密功能的海量存储类设备，具有普适性。
海量存储设备加密方法主控接入