“G06F16/182”专利分类搜索_专利查询_文献下载_出售_求购_买卖_交易

钻瓜专利网为您找到相关结果1370个，建议您升级VIP下载更多相关专利

[发明专利]一种基于服务数据的数据仓库创建方法及数据仓库-CN201910399114.0在审
发明人：周孝文;刘柳 -专利权人：重庆八戒传媒有限公司
申请日： 2019-05-14 - 公布日： 2019-08-13 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种基于服务数据的数据仓库创建方法及数据仓库，包括：在所述数据仓库创建多个相关数据层；基于预设算法，对各层数据加工与处理进行初始化；采集服务数据；基于上述初始化，对所述服务数据进行加工与处理。本发明可对多数据源进行整合、对数据进行建模加工，并设置有统一的数据标准，为基于服务数据的数据仓库创建提供良好的解决方案。
数据仓库服务数据初始化创建采集服务多数据源数据标准数据加工预设算法数据层建模整合加工统一

[发明专利]基于跨机房Hadoop集群的数据存储的方法及装置-CN201510280448.8有效
发明人：叶琪 -专利权人：华为技术有限公司
申请日： 2015-05-27 - 公布日： 2019-08-13 - 主分类号： G06F16/182 文献下载
摘要：本发明涉及数据处理技术领域，特别涉及基于跨机房Hadoop集群的数据存储的方法及装置，用以解决现有技术中存在的基于跨机房的Hadoop集群中数据在存储时产生的传输数据流量较大的问题。该方法包括：在接收到需要写入的数据表后，确定用于计算数据表中数据的任务类型；根据确定的任务类型，将数据表中满足同一预设条件的数据存储到同一机房中或将数据表中全部数据存储到同一机房中。这种技术方案由于能够将数据表中满足同一预设条件的数据存储到同一机房中或将数据表中全部数据存储到同一机房中，使得同一数据不会存储在多个机房中，从而避免了在存储过程中产生的跨机房数据流量。
基于机房 hadoop 集群数据存储方法装置

[发明专利]一种分布式内存文件管理系统-CN201910384983.6在审
发明人：陈咸彰;沙行勉;刘成龙;曾孝平;诸葛晴凤 -专利权人：重庆大学
申请日： 2019-05-09 - 公布日： 2019-08-09 - 主分类号： G06F16/182 文献下载
摘要：本发明公开一种分布式内存文件管理系统，设置有元数据存储服务器和文件数据存储服务器，所述元数据存储服务器用于管理系统的元数据信息和所述文件数据存储服务器的相关信息，所述文件数据存储服务器用于存放文件数据块，客户端通过元数据存储服务器获取文件数据块的物理地址，然后再通过RDMA单侧读写直接访问文件数据块在文件数据存储服务器中的物理内存。其效果是：避免了在文件数据存储服务器的本地文件系统查询文件数据块索引的开销，同时可以利用索引预取和空间预分配将元数据保存在客户端缓存中，降低客户端请求元数据存储节点查询索引的通信频率，进一步提升数据访问性能。
服务器文件数据存储元数据存储管理系统文件数据块内存文件索引存放文件数据数据访问性能服务器获取客户端缓存客户端请求数据块索引元数据信息查询文件节点查询通信频率文件系统物理地址物理内存相关信息直接访问客户端预分配元数据读写预取保存

[发明专利]非结构化数据处理方法和非结构化数据处理系统-CN201910389001.2在审
发明人：樊林 -专利权人：京东方科技集团股份有限公司
申请日： 2019-05-10 - 公布日： 2019-08-09 - 主分类号： G06F16/182 文献下载
摘要：本发明提供一种非结构化数据处理方法和非结构化数据处理系统，该非结构化数据处理方法包括：获取非结构化数据；对所述非结构化数据进行序列化处理，得到序列化数据；将所述序列化数据与所述非结构化数据的索引信息进行连接，得到目标数据；将多个所述目标数据存储至目标结构化数据文件中，所述目标结构化数据文件用于分布式文件系统。本发明中，对多个非结构化数据进行序列化处理，并合并存储到一个结构化数据文件中用于分布式文件系统，与在分布式文件系统中存储多个小的非结构化数据相比，可以有效节省所需的存储空间。
非结构化数据分布式文件系统非结构化数据处理非结构化数据处理系统序列化处理序列化数据目标结构数据文件结构化数据文件目标数据存储存储空间合并存储目标数据索引信息存储

[发明专利]用于使用多个共享存储器可重配置并行查找的方法和系统-CN201410838433.4有效
发明人： A·T·特兰;G·施密特;T·丹尼尔;S·施里瓦斯塔瓦 -专利权人：凯为有限责任公司
申请日： 2014-12-29 - 公布日： 2019-08-09 - 主分类号： G06F16/182 文献下载
摘要：本发明的实施例涉及通过互联网络的适当配置使用共享存储器池的多个并联查找。为每个查找保留的共享存储器的数目可基于该查找所需的存储器能力而重配置。共享存储器被分组为同质块。基于该查找所需的存储器能力，每个查找被分派一组块。为每个查找分派的块不与其他查找重叠，以便所有查找能并行执行而不冲突。每个查找可重配置为基于哈希或直接访问。基于怎样为每个查找分派块，对互联网络进行编程。
用于使用共享存储器配置并行查找方法系统

[发明专利]一种分布式存储系统中管理异构副本的方法及装置-CN201410206795.1有效
发明人：程宁;韩盛中 -专利权人：中兴通讯股份有限公司
申请日： 2014-05-15 - 公布日： 2019-08-09 - 主分类号： G06F16/182 文献下载
摘要：本发明提供了一种分布式存储系统中管理异构副本的方法及装置，其中方法包括：获取用于存储文件的副本的写请求参数；根据写请求参数从元数据服务器获取分布式存储系统中每个存储服务器的位置信息；根据写请求参数将文件的副本按照预先指定的格式转换得到多个不同格式的文件的异构副本；根据从元数据服务器获取的存储服务器的位置信息，将转换得到的多个不同格式的文件的异构副本分别存储在指定的存储服务器上。通过本发明的实施例可以将一个文件在多个存储服务器中分别存储多个不同的异构副本，在读取文件的异构副本时，可以根据需要读取对应的异构副本，能够有效提高用户处理数据的工作效率。
一种分布式存储系统管理副本方法装置

[发明专利]一种数据查询方法、系统、装置及电子设备-CN201910377737.8在审
发明人：董瓅媛;詹明魁;林小忠;闫飞;杨波;赵嘉寅 -专利权人：阿里巴巴集团控股有限公司
申请日： 2019-04-30 - 公布日： 2019-08-06 - 主分类号： G06F16/182 文献下载
摘要：本说明书实施例公开了一种数据查询方法、系统、装置及电子设备，接收携带用户标识的数据查询请求，所述数据查询请求包括查询时间范围；估算所述查询时间范围内的查询数据量；根据所述查询数据量确定对所述数据查询请求的拆分数量，使得根据所述拆分数量拆分所述数据查询请求得到查询子请求，所述查询子请求所对应的查询数据量不超过对所述查询子请求进行数据查询的数据库负载；利用与所述用户标识对应的历史查询行为数据对所述拆分数量进行调整；根据调整的拆分数量将所述数据查询请求拆分，使得数据库根据所述调整的拆分数量得到的查询子请求进行数据查询。
数据查询请求数据查询子请求查询查询数据装置及电子设备携带用户标识数据库负载历史查询行为数据用户标识量确定数据库估算

[发明专利]Host文件的管理方法、装置和系统-CN201410831854.4有效
发明人：张少壮;刘朋科 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2014-12-26 - 公布日： 2019-08-06 - 主分类号： G06F16/182 文献下载
摘要：提供了一种host文件的管理方法、装置和系统，其中，所述方法包括：获取目标host文件的地址信息；根据所述目标host文件的地址信息，向网站服务器发送获取目标host文件的请求信息；接收所述网站服务器发送的所述目标host文件；以及将所述目标host文件更新到本地的host文件数据库中。本发明提供的实施例，使主机能实时同步网站服务器中更新后的host文件，在切换或调整主机host文件中的内容时，避免用户手动编辑本地host文件时的繁琐操作和可能的失误，节省了用户的时间，提高了用户在开发和测试应用软件时的效率。
网站服务器地址信息获取目标主机发送测试应用软件文件数据库请求信息实时同步手动编辑文件更新系统提供管理更新开发

[发明专利]基于工作流的HDFS数据管理方法、装置、设备和介质-CN201910201985.7在审
发明人：沈志刚;敖挺挺;付倩 -专利权人：平安城市建设科技（深圳）有限公司
申请日： 2019-03-16 - 公布日： 2019-07-30 - 主分类号： G06F16/182 文献下载
摘要：本发明涉及数据更新领域，提供一种基于工作流的HDFS数据管理方法，包括以下步骤：在接收到数据更新请求时，获取所述数据更新请求对应的用户标识，和待更新的目标数据；获取所述目标数据的更新任务，及所述更新任务对应的基础工作流，获取所述基础工作流中与所述用户标识匹配的工作流节点；将所述工作流节点发送至所述用户标识对应的终端，以供所述用户标识对应用户进行目标数据的更新确认；在接收所述终端发送的确认信息时，根据所述确认信息将所述目标数据更新到HDFS中。本发明还公开了一种基于工作流的HDFS数据管理装置、设备和介质。本发明中通过基础工作流使得HDFS中的数据更新更加规范。
工作流目标数据用户标识更新数据更新请求数据管理工作流节点确认信息数据更新数据管理装置终端发送匹配终端发送

[发明专利]基于皮尔逊系数与MapReduce并行计算的电网尖峰负荷聚类提取法-CN201910303202.6在审
发明人：崔嘉;刘思彤;杨俊友;葛维春;张宇献;于仁哲;刘云飞;郭海宇 -专利权人：沈阳工业大学
申请日： 2019-04-16 - 公布日： 2019-07-30 - 主分类号： G06F16/182 文献下载
摘要：基于皮尔逊系数与MapReduce并行计算的电网尖峰负荷聚类提取法，该方法步骤如下：第一步：对负荷数据集进行数据清理以及异常数据修复，然后对负荷数据集进行降维；第二步：将降维后数据集按行存储在Hadoop分布式文件系统中，并将数据集分成各个切片形成子数据集；第三步：利用MapReduce计算架构读取第二步中的每一个切片子数据集，通过并行模型利用皮尔逊相关系数作为相似性判据选取初始聚类中心；第四步：再将聚类计算任务分配给MapReduce中的Map任务节点，结合第三步中的初始聚类中心，完成数据集的并行聚类。本发明更加适应越来越蓬勃发展信息时代衍生的电力负荷大数据处理。
聚类数据集初始聚类中心并行计算负荷数据尖峰负荷子数据集提取法切片降维分布式文件系统读取按行存储并行模型电力负荷任务分配任务节点数据清理异常数据电网数据处理判据并行架构修复

[发明专利]spark结合tensorflow进行遥感影像信息提取的方法-CN201910141584.7在审
发明人：李文东;李涛;檀飞腾 -专利权人：中科遥感（深圳）卫星应用创新研究院有限公司;中科遥感科技集团有限公司;广东中科遥感技术有限公司
申请日： 2019-02-26 - 公布日： 2019-07-26 - 主分类号： G06F16/182 文献下载
摘要：本发明公开了一种spark结合tensorflow进行遥感影像信息提取的方法，包括以下步骤：（Ⅰ）构建分布式存储系统，存储元数据信息；（Ⅱ）分布式计算集群与机器学习tensorflow结合；（Ⅲ）直接读取分布式存储系统上的遥感影像数据；（Ⅳ）编写分布式上遥感影像信息提取的机器学习算法；（Ⅴ）使用spark将数据进行分片并读取到内存队列。本发明提供了一种spark结合tensorflow进行遥感影像信息提取的方法，采用分布式存储、分布式计算结合机器学习的技术路线，实现遥感信息快速、批量提取，提高了遥感影像数据提取的处理能力与效率。
遥感影像信息分布式存储系统遥感影像数据分布式计算机器学习机器学习算法读取存储元数据分布式存储技术路线内存队列遥感信息直接读取构建集群

[发明专利]一种iSCSI目标器多实例处理方法及分布式存储系统-CN201910168127.7在审
发明人：杨淑娟 -专利权人：平安科技（深圳）有限公司
申请日： 2019-03-06 - 公布日： 2019-07-23 - 主分类号： G06F16/182 文献下载
摘要：本申请提供了一种iSCSI目标器多实例处理方法及分布式存储系统，属于云存储/集群存储领域。该方法包括：第一iSCSI目标器分别接收第一iSCSI启动器和第二iSCSI启动器的针对第一RBD块设备的操作请求；第一iSCSI启动器和第二iSCSI启动器抢占第一RBD块设备；iSCSI目标器根据抢占结果，轮流处理第一iSCSI启动器和第二iSCSI启动器的操作请求。还公开了分布式存储系统。本申请采用分布式锁，使得iSCSI目标器可以针对同一个RBD设备轮流处理多个iSCSI启动器的操作请求，实现多实例处理，提高了系统的性能。
启动器分布式存储系统操作请求实例处理块设备轮流分布式锁集群存储云存储申请

[发明专利]一种基于路由器的挂载设备存储方法-CN201910294702.8在审
发明人：韦涛;冯文健 -专利权人：广西科技师范学院
申请日： 2019-04-12 - 公布日： 2019-07-23 - 主分类号： G06F16/182 文献下载
摘要：本发明公开一种基于路由器的挂载设备存储方法，包括以下步骤：步骤一：通过工作人员或者设定好的读取系统在接入设备的作用下将路由器的数据信息传输到挂载设备；步骤二：在挂载设备接收到接入设备传输的数据信息并将数据信息传输到分析装置，分析装置接收到数据信息后对数据信息进行分析处理，对挂载设备接收的数据信息进行判断，本发明通过分析模块对数据信息的分析结果，将分类后的数据信息设置识别标记号并存储到存储设备内，再通过查询装置查询识别标记号查询对应的数据信息，监控装置对数据信息的调用进行监控，增加数据库信息存储的安全性，给工作人员对数据信息的查询提供了便利，节省查询时间，提高工作效率。
数据信息挂载路由器查询数据信息传输分析装置接入设备设备接收存储数据库信息存储查询装置存储设备读取系统分析处理分析模块工作效率监控装置调用传输分类监控便利

[发明专利]分布式存储系统节点故障的侦测方法和装置-CN201510890729.5有效
发明人：宋昭 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2015-12-07 - 公布日： 2019-07-23 - 主分类号： G06F16/182 文献下载
摘要：本发明提供了一种分布式存储系统节点故障的侦测方法和装置。该方法包括：监测目标分片的副本的在线数量，其中，所述目标分片具有用于接收并响应数据请求的主副本和用于同步该主副本的数据操作的从副本，所述主副本和所述从副本位于分布式存储系统的不同节点；当监测到所述目标分片的副本的在线数量与预设数量不一致时，确定所述目标分片的副本所在节点出现故障。本发明实施例提供的技术方案能够实现及时、有效地侦测到故障节点的目的。
分布式存储系统节点故障侦测方法装置

[发明专利]分布式文件系统的数据更新方法和装置-CN201510512344.5有效
发明人：段兵 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-08-19 - 公布日： 2019-07-23 - 主分类号： G06F16/182 文献下载
摘要：本申请公开一种分布式文件系统的数据更新方法和装置，其中所述方法包括：获取更新数据，将所述更新数据写入当前数据节点的尾部，并在所述数据节点中更新对应的索引信息；将所述更新数据写入所述校验节点的尾部，并在所述校验节点中更新对应的索引信息。通过本申请在分布式文件系统的数据更新过程中实现了高性能、不占用计算资源、以及数据一致的效果。
分布式文件系统数据更新方法装置