“hive”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果704个，建议您升级VIP下载更多相关专利

[发明专利]一种数据处理方法及装置-CN202211316575.5在审
发明人：刘立力;姚智健 -专利权人：湖南快乐阳光互动娱乐传媒有限公司
申请日： 2022-10-26 - 公布日： 2022-12-30 - 主分类号： G06F16/215 文献下载
摘要：接收待处理文件，待处理文件包括多行信息；对待处理文件进行压缩处理，得到压缩文件；读取压缩文件中的多行信息，得到多行数据；利用自定义HadoopInputFormat对多行数据进行合并，得到单行完整数据；利用hive表的清洗逻辑对单行完整数据进行数据清洗，得到与单行完整数据对应的hive表记录。本申请实施例基于自定义HadoopInputFormat清洗异构数据，使多行数据转化为单行完整数据，再将单行完整数据使用hive表的清洗逻辑清洗为hive表的一行记录，解决了异构数据清洗的痛点，不需要对异构数据进行额外的合并处理
一种数据处理方法装置

[发明专利]历史数据自动归档方法、装置、计算机设备和存储介质-CN202211297842.9在审
发明人：谭磊;刘志超 -专利权人：湖南长银五八消费金融股份有限公司
申请日： 2022-10-21 - 公布日： 2023-01-31 - 主分类号： G06F16/11 文献下载
摘要：方法包括：获取所需归档的历史数据表，提取所需归档的历史数据表的归档时间字段；根据所需归档的历史数据表，以归档时间字段进行分区，建立目标端的Hive数据表结构；调用Sqoop命令将所需归档的历史数据表中的历史数据抽取、并加载至Hive数据表结构，得到Hive数据表；当Hive数据表与所需归档的历史数据表一致时，获取所需归档的历史数据表中主键值、并确定每批次删除行数；基于主键值以及每批次删除行数删除所需归档的历史数据表中的历史数据
历史数据自动归档方法装置计算机设备存储介质

[发明专利]数据自动化转存方法、装置、设备及其存储介质-CN202310684804.7在审
发明人：贾江丽 -专利权人：平安科技（深圳）有限公司
申请日： 2023-06-09 - 公布日： 2023-09-19 - 主分类号： G06F16/23 文献下载
摘要：本申请实施例属于数据转存及数字医疗技术领域，应用于医疗数据自动化转存领域中，涉及一种数据自动化转存方法、装置、设备及其存储介质，包括根据预设的HDFS组件访问新增业务场景中的文件数据；根据MapReduce组件计算出Hive数据仓库中更新的数据，将更新的数据替换入对应的第一批业务数据表中，完成更新的数据从Hive数据仓库至第一批业务数据表中的自动化更新和转存。采用自动化方式进行文件数据到Hive数据仓库中的转存，Hive数据仓库数据到关系型数据表的转存，自动化替代人工转存，节省时间，避免了因人工转存造成数据更新不及时，带给患者较差的服务体验。
数据自动化转存方法装置设备及其存储介质

[发明专利]在HIVE中数据迁移方法、装置及终端设备-CN201710432592.8有效
发明人：陶胜 -专利权人：广州虎牙信息科技有限公司
申请日： 2017-06-09 - 公布日： 2020-08-28 - 主分类号： G06F16/21 文献下载
摘要：本发明涉及数据处理领域，具体涉及一种在HIVE中数据迁移方法、装置及终端设备，所述方法包括步骤：将源数据库的数据文件通过Hive映射为源表；判断源表的预设分区是否存在数据记录；当所述源表的预设分区存在数据记录时发明通过HIVE将源数据库的数据文件映射为源表，利用HIVE的分区属性通过写查询语言的方式将数据从源表一部分一部分地写入目标表中，以完成源数据库的数据迁移至目标数据库，操作简单，逻辑清晰明了。
hive 数据迁移方法装置终端设备

[发明专利]一种Hive数据权限控制代理层方法及系统-CN202210818903.5有效
发明人：卢薇 -专利权人：杭州比智科技有限公司
申请日： 2022-07-13 - 公布日： 2022-10-11 - 主分类号： G06F21/45 文献下载
摘要：本发明公开了一种Hive数据权限控制代理层方法及系统，包括以下步骤：S1：Hive数据权限申请；S2：HQL解析；S3：HQL改写；S4：HQL权限校验；S5：HQL表、字段血缘分析。本发明能够满足企业内部细粒度的数据权限控制需求，本发明基于Hive原生类实现HQL解析、改写和权限校验，准确度和稳定性有一定保障，达到生产上线要求有一定把握；本发明提供的Java类DatablackHiveAuthorizerFactory和DatablackHiveAuthorizer都是对Hive接口的具体实现，能够实现员工/用户级别的数据鉴权；本发明的安装和部署都不需要侵入集团大数据集群管理平台，能够满足很大一部分实际生产场景需求。
一种 hive 数据权限控制代理方法系统

[发明专利]Hive数据库中增量数据的处理方法、装置以及计算机设备-CN201910851212.3有效
发明人：叶波 -专利权人：中国平安财产保险股份有限公司
申请日： 2019-09-10 - 公布日： 2023-06-27 - 主分类号： G06F16/22 文献下载
摘要：本发明实施例公开了一种Hive数据库中增量数据的处理方法、装置以及计算机设备，所述方法包括：获取Hive数据库表的全量数据和增量数据，并使用预设操作命令将所述全量数据和增量数据进行合并，得到合并后的数据；使用预设开窗函数对合并后的数据进行分组，再对各分组后的数据进行降序排序；基于Hive机制，根据每个分组数据的字段类型分别创建对应的动态分区表；根据各个动态分区表存储各分组数据，再将各动态分区表保存在预设文件夹中本发明基于数据处理提供一种Hive数据库中增量数据的处理方法，能够减少传统方式中需要进行多次关联所产生的时间耗费，并且可以减少对增量数据的获取次数，提高对增量数据的处理效率。
hive 数据库增量数据处理方法装置以及计算机设备

[发明专利]面向Hive的多模式数据处理方法、装置及电子设备-CN202010256544.X有效
发明人：李宗祥 -专利权人：咪咕文化科技有限公司;中国移动通信集团有限公司
申请日： 2020-04-02 - 公布日： 2023-10-17 - 主分类号： G06F16/182 文献下载
摘要：本发明实施例公开了一种面向Hive的多模式数据处理方法、装置及电子设备，方法包括：将Hive表中的数据按照每列对应存储一个字段的数据的方式存储；将每列的数据划分为属于不同分区的分区数据；将属于不同表模式的分区数据分别存储至Hadoop的不同Block中；表模式用于表征Hive表的表结构属性，且每当Hive表的表结构发生变化时产生新的表模式。
面向 hive 模式数据处理方法装置电子设备

[发明专利]一种通过JDBC连接Hiveserver的快捷方法-CN201610917796.6在审
发明人：管新 -专利权人：郑州云海信息技术有限公司
申请日： 2016-10-21 - 公布日： 2017-03-08 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种通过JDBC连接Hiveserver的快捷方法，所述方法通过在程序操作Hive之前，在Hive安装的服务器上打开HiveServer服务，服务开启之后，通过Hive提供的jdbc驱动，使用
一种通过 jdbc 连接 hiveserver 快捷方法

[发明专利]一种用于探测HIVE数据库数据血缘的方法及系统-CN202110211183.1在审
发明人：苏瑀;陈筱进;刘登贺;张世杰 -专利权人：吉林亿联银行股份有限公司
申请日： 2021-02-25 - 公布日： 2021-06-08 - 主分类号： G06F16/215 文献下载
摘要：本发明公开了一种用于探测HIVE数据库数据血缘的方法及系统，方法包括：配置LineageLogger Hook功能；基于LineageLogger Hook功能对HiveSql进行解析，生成hive.log日志；对hive.log日志进行数据清洗形成JOIN格式，并将清洗后的数据数据导入至开源图数据库neo4j；利用neo4j接口查询字段之间的依赖关系；调用图数据库neo4j API接口，解析JSON串，
一种用于探测 hive 数据库数据血缘方法系统

[发明专利]数据提取方法、电子设备和计算机可读存储介质-CN202211021911.3在审
发明人：朱崇凯;江文龙;周明伟 -专利权人：浙江大华技术股份有限公司
申请日： 2022-08-24 - 公布日： 2022-12-16 - 主分类号： G06F16/2455 文献下载
摘要：本申请公开了一种数据提取方法、电子设备和计算机可读存储介质，该方法包括：获得Hive数据表并确定所述Hive数据表中的分区表；获得初始过滤总语句，基于所述初始过滤总语句中与所述分区表相关的过滤语句生成查询语句，执行所述查询语句，从所述Hive数据表中提取至少部分所述分区表中的数据，得到待提取数据表；获得预设筛选条件，从所述待提取数据表中提取与所述预设筛选条件相符的数据。
数据提取方法电子设备计算机可读存储介质

[发明专利]基于hive的协同过滤推荐方法-CN201910830907.3有效
发明人：刘洋;孙永强;韩挺;唐潮 -专利权人：四川长虹电器股份有限公司
申请日： 2019-09-03 - 公布日： 2022-06-03 - 主分类号： G06F16/28 文献下载
摘要：本发明公开了基于hive的协同过滤推荐方法，hive是建立在Hadoop集群上的数据仓库工具，底层计算采用MapReduce架构，所以hive能够分布式处理数据量巨大的表，本发明的方法基于hivesql
基于 hive 协同过滤推荐方法

[发明专利]一种实现多种大数据计算框架统一接口的方法-CN201510552031.2有效
发明人：柴满;徐健;王国辉 -专利权人：广东创我科技发展有限公司
申请日： 2015-09-02 - 公布日： 2019-03-29 - 主分类号： G06F8/30 文献下载
摘要：建立统一的hadoop计算框架接口，实现以统一的接口来访问hadoop的多种计算框架，用户通过JDBC接口透明访问Hive、HBase、spark、Impala等框架中的数据，实现了多种hadoop计算框架统一接口的方法，让用户通过JDBC接口透明访问Hive、HBase、spark、Impala等框架中的数据。
一种实现多种数据计算框架统一接口方法

[发明专利]一种hive中大小表关联的优化方法-CN201710032231.4有效
发明人：马东;周帅锋;郑伟;鲁光明;马全辉;卞璐璐;穆宁;王栋平 -专利权人：南京烽火天地通信科技有限公司
申请日： 2017-01-16 - 公布日： 2021-10-19 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种hive中大小表关联的优化方法，属于大数据处理技术领域，解决了针对Hive大小表关联时大表存在索引的场景下效率低下的问题；本发明利用大表的索引特性，降低传输和分析的数据量，进而提升大小表关联分析的效率
一种 hive 大小关联优化方法

[发明专利]一种基于互联网数据采集的数据资源管理平台-CN201610967797.1在审
发明人：王洪添;刘在友 -专利权人：山东浪潮云服务信息科技有限公司
申请日： 2016-11-01 - 公布日： 2017-03-29 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于互联网数据采集的数据资源管理平台，该平台用于在数据从源数据库迁移至Hive过程中的数据资源管理，包括数据源管理模块，用于对存储源数据的数据库进行管理；模型接入管理模块，用于在Hive中创建表，并对该创建过程进行管理；数据接入管理模块，该模块对数据从源数据库迁移至Hive过程进行管理；审核模块，该模块对模型接入、数据接入任务进行审查；数据资源监控，该模块用于对Hive中导入数据量进行监控并统计展示
一种基于互联网数据采集资源管理平台

[发明专利]一种基于数据仓库hive的工业离线计算调度方法-CN202010629812.8在审
发明人：洪蒙纳;方主升;李继庚 -专利权人：广州博依特智能信息科技有限公司
申请日： 2020-07-03 - 公布日： 2020-11-17 - 主分类号： G06F16/22 文献下载
摘要：本发明提供一种基于数据仓库hive的工业离线计算调度方法，涉及工业大数据技术领域。该基于数据仓库hive的工业离线计算调度方法，包括以下步骤：S1、hive分区表用采集的日期进行按天分区，分区表字段定义为pt，格式是yyyymmdd；S2、配置系统的采集频率参数为小时调度；S3、配置调度参数该基于数据仓库hive的工业离线计算调度方法，在使用上结合工业大数据仓库的场景实际进行任务调度，对当天的数据小时级别实时处理，对历史周期的数据天粒度处理，实现简单，维护成本低。
一种基于数据仓库 hive 工业离线计算调度方法