“海量数据处理”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果5503421个，建议您升级VIP下载更多相关专利

[发明专利]基于云计算的海量数据访问处理系统-CN201310260309.X在审
发明人：姜啸宇;朱烨东 -专利权人：北京中科金财科技股份有限公司
申请日： 2013-06-27 - 公布日： 2013-10-23 - 主分类号： G06F17/30 文献下载
摘要：本发明提出了一种基于云计算的海量数据访问处理系统，包括：海量数据采集模块；海量数据智能加工处理模块；海量数据存储管理模块；海量数据服务模块；海量数据处理过程监控模块。所述海量数据处理模块从各类海量数据源收集海量数据到数据处理中心，对所收集的各类海量数据进行格式检查和标准化处理。本发明的有益效果如下：可有效解决海量数据加工处理、海量数据共享服务、监控系统与海量数据处理平台的协作问题，解决了统一数据访问、数据一致性保障和数据安全管理等核心问题，同时针对海量数据的访问从性能方面进行了优化；实现海量数据处理与移动电子商务的无缝融合。
基于计算海量数据访问处理系统

[发明专利]超大规模NFV网络资源池海量数据处理及数据接入方法-CN202310387159.2在审
发明人：伍闵;钟世钦;董威;李超超;王松磊;陈延廷;罗晓惠;杨克伟;胡剑 -专利权人：杭州东方通信软件技术有限公司
申请日： 2023-04-12 - 公布日： 2023-10-24 - 主分类号： G06F16/25 文献下载
摘要：本发明实施例公开了本发明公开了一种超大规模NFV网络资源池海量数据处理及数据接入方法，以ODS‑DW‑ADS三层数据分层处理架构作为海量数据处理全过程的方法论，不限制于特定场景下的海量数据处理，可涵盖包括移动通信领域在内诸多领域的海量数据处理场景，以Doris为核心配合Kafka+Flink+MongoDB软件作为海量数据处理全过程的技术栈易部署易运维，可操作性强，简化了海量数据处理过程中的数据导入流程，降低了数据存储压力，提升了数据计算的性能，不仅仅适用于移动通信领域，同样适应于其他领域海量数据处理场景，具有广泛的市场前景。
超大规模 nfv 网络资源海量数据处理数据接入方法

[发明专利]一种海量数据处理系统的设计和实现方法-CN201510850498.5在审
发明人：孙志云;郭美思 -专利权人：浪潮集团有限公司
申请日： 2015-11-30 - 公布日： 2016-04-06 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种海量数据处理系统的设计和实现方法，采用了分布式存储、分布式计算框架、快速处理的方式，提高数据存储、处理效率，节省CPU及网络资源；本方法包括：海量数据收集模块、海量数据存储模块、海量数据处理模块本发明的结构设计主要考虑海量数据收集、数据存储、数据处理的问题。为了使得海量数据处理过程更加便捷、高效、安全，本文采用了分布式存储、分布式计算框架、快速处理的方式，实现了一种海量数据处理系统的设计和实现。从而提高数据存储、处理效率，节省CPU及网络资源。
一种海量数据处理系统设计实现方法

[发明专利]海量数据加工的处理方法和系统-CN201410613964.3在审
发明人：王作为;杨春明;闫宏宇;郭铸 -专利权人：中国银行股份有限公司
申请日： 2014-11-04 - 公布日： 2015-01-21 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种海量数据加工的处理方法和系统，其中，该处理方法包括以下步骤：步骤S3：加载来自多个源业务系统的海量数据；步骤S5：对所加载的海量数据进行映射；步骤S7：根据报表工具的要求对映射后的海量数据进行处理本发明的有益效果在于：通过将数据处理逻辑从业务系统中分离出来，生成数据文件由专门的数据处理系统进行统一处理。数据处理由原来的扁平处理方式改为分层的方式进行处理。从而减轻数据处理难度，极大的提高海量数据处理性能，从而提高数据处理的效率，进一步满足数据统计分析要求。
海量数据加工处理方法系统

[发明专利]基于文件的海量数据处理方法-CN201010265079.2有效
发明人：袁洁 -专利权人：武汉天喻信息产业股份有限公司
申请日： 2010-08-29 - 公布日： 2010-12-15 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种基于文件海量数据处理模型，所述具体处理过程包括：(1)对多台数据处理服务器间进行互斥控制，保持所述数据处理系统只有一台在处理数据，其他数据处理服务器作为备份；(2)对海量数据文件进行分组，将海量数据文件根据并发线程的总数量进行分组，再将分组后的文件对应到不同的线程进行处理。本发明所提供的海量数据处理过程是为了在计算机系统发生各种意外的情况下，都可以保证数据的正确性和完整性，并且在保证数据正确性和完整性的同时，确保海量数据的处理性能。
基于文件海量数据处理方法

[发明专利]一种海量非结构化数据处理方法和装置-CN201811049607.3在审
发明人：程俊;杭维杰 -专利权人：上海勋立信息科技有限公司
申请日： 2018-09-10 - 公布日： 2019-03-08 - 主分类号： G06F16/31 文献下载
摘要：本发明提供一种海量非结构化数据处理方法及装置，属于数据处理技术领域。本发明的海量非结构化数据处理方法包括对海量非结构化数据进行清理得到标准格式的数据文件；批量上传所述标准格式的数据文件到分布式存储平台；创建一个或多个索引存储所述标准格式的数据文件；根据所述索引在分布式存储平台上进行分布式数据查询本发明的一种海量非结构化数据处理方法和装置可实现海量非结构化数据的快速查询。
非结构化数据处理标准格式数据文件非结构化数据方法和装置分布式存储数据处理技术分布式数据快速查询索引存储上传索引查询创建

[发明专利]一种基于车联网的海量数据处理装置-CN201610624178.2在审
发明人：耿四化;高化龙 -专利权人：安徽协创物联网技术有限公司
申请日： 2016-08-03 - 公布日： 2016-12-07 - 主分类号： G01C21/34 文献下载
摘要：一种基于车联网的海量数据处理装置，所述海量数据处理装置包括单车辆终端，所述单车辆终端包括：显示器、无线定位模块、通信模块及音频模块；与所述显示器、无线定位模块、通信模块和音频模块连接的微处理器；微处理器连接的拨号键；所述海量数据处理装置还包括导航服务器：后台数据处理中心；与所述后台数据处理中心连接道路云平台；所述单车辆终端中包括所述导航服务器用户端，用于与后台数据处理中心与所述道路云平台连接。本发明提出了一种基于车联网的海量数据处理装置操作方便，防止恶意节点侵入车载云平台中进行攻击，增强了车联网的安全与隐私。
一种基于联网海量数据处理装置

[发明专利]一种基于车联网的海量数据处理方法-CN201610624187.1在审
发明人：耿四化;高化龙 -专利权人：安徽协创物联网技术有限公司
申请日： 2016-08-03 - 公布日： 2017-01-04 - 主分类号： H04L29/06 文献下载
摘要：一种基于车联网的海量数据处理方法，所述海量数据处理装置包括单车辆终端，所述单车辆终端包括：显示器、无线定位模块、通信模块及音频模块；与所述显示器、无线定位模块、通信模块和音频模块连接的微处理器；微处理器连接的拨号键；所述海量数据处理装置还包括导航服务器：后台数据处理中心；与所述后台数据处理中心连接道路云平台；所述单车辆终端中包括所述导航服务器用户端，用于与后台数据处理中心与所述道路云平台连接。本发明提出了一种基于车联网的海量数据处理装置操作方便，防止恶意节点侵入车载云平台中进行攻击，增强了车联网的安全与隐私。
一种基于联网海量数据处理方法

[实用新型]一种海量数据处理装置-CN201220002457.2有效
发明人：李博;刘志鑫;陈剑 -专利权人：李博;刘志鑫;陈剑
申请日： 2012-01-05 - 公布日： 2012-08-29 - 主分类号： G06F17/40 文献下载
摘要：一种海量数据处理装置，它涉及电子数据处理技术领域，具体涉及一种海量数据处理装置。它包含数据缓存区(1)、侦听数据端口(2)、数据读取端口(3)和处理缓冲数据系统(4)；两个数据缓存区(1)连接侦听数据端口(2)，侦听数据端口(2)连接数据读取端口(3)，数据读取端口(3)连接处理缓冲数据系统它提高了海量数据的接收和存储效率，且有效的减少数据的丢失。
一种海量数据处理装置

[发明专利]一种电力系统海量数据管理系统及其使用方法-CN201410820038.3有效
发明人：何春江;陈勇;裘微江;郭中华;周智强;严剑峰;刘欣 -专利权人：国家电网公司;中国电力科学研究院
申请日： 2014-12-25 - 公布日： 2015-04-15 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种电力系统海量数据管理系统及其使用方法，所述系统包括仿真数据分布式存储子系统和海量仿真数据处理子系统；所述仿真数据分布式存储子系统将数据分散存储在多台独立的互联设备上；所述仿真数据分布式存储子系统采用集群方式，其包含两类节点：元数据服务器master和文件服务器server；所述海量仿真数据处理子系统对数据通过切分规则将数据分布到不同的数据库服务器上，通过路由规则路由访问特定的数据库；所述海量仿真数据处理子系统包括数据访问层，数据管理层和数据存储层。所述方法包括仿真数据分布式存储子系统数据处理方法和海量仿真数据处理子系统处理方法。
一种电力系统海量数据管理系统及其使用方法

[发明专利]基于数据节点的并行海量数据处理方法-CN201410020055.9有效
发明人：张宏伟;崔潇;郭英雷;李延真;贾旭;蔡键;王德东;李长林;陈明;彭博;肖庆维;段蕴毅;赵士睿 -专利权人：国网山东省电力公司青岛供电公司
申请日： 2014-01-16 - 公布日： 2017-04-05 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种基于数据节点的并行海量数据处理方法；本方法通过将海量数据存储到不同数据节点中的数据对象中，所述客户端可以同时通过不同的数据对象进行并行访问，提高了访问效率，实现了大容量、高性能的数据处理服务，并且构建了分布式数据库系统，提供一种利用分布式数据存储技术实现海量数据访问服务，形成基于数据节点的并行海量数据处理方法，本方法还基于IEC61970 GID标准和CORBA规范，支持丰富的聚集操作，满足数据处理的功能要求
基于数据节点并行海量数据处理方法

[发明专利]一种海量数据处理方法、装置、电子设备及存储介质-CN202111598920.4在审
发明人：张若玺;蒋洪月;高艳芳;张宇峰;李忠 -专利权人：中电信数智科技有限公司
申请日： 2021-12-24 - 公布日： 2022-04-01 - 主分类号： G06F9/48 文献下载
摘要：本申请提供一种海量数据处理方法、装置、电子设备及存储介质，该方法包括：获取海量数据和海量数据的业务场景类型对应的业务流程；根据业务场景类型对应的业务流程获取算子库中的多个算子，并对多个算子进行编排，获得数据处理任务；根据数据处理任务对海量数据进行处理。通过根据海量数据的业务场景类型将业务流程划分为多个算子，并采用根据业务场景类型对应的业务流程对多个算子进行编排的方式实现业务流程的可编排化，替代了使用传统脚本文件的硬编码方式处理海量数据，也避免了协调程序员对脚本文件进行修改、调试和执行等繁琐过程的情况，从而有效地提高了对海量数据进行业务流程处理的效率。
一种海量数据处理方法装置电子设备存储介质

[发明专利]海量点云数据处理方法、装置、服务器及系统-CN202111180896.2在审
发明人：许柔娜;吴蔚;李行义;曾伟雄;陈隽敏;黄俊达;雷新;薛菲;赖惠婷;邓超怡;饶著;谢烨妍;梁韵诗;蔡斌 -专利权人：广东科诺勘测工程有限公司
申请日： 2021-10-11 - 公布日： 2022-01-14 - 主分类号： G06F9/50 文献下载
摘要：本发明涉及一种海量点云数据处理方法、装置、服务器及系统。海量点云数据处理方法包括如下步骤：获取若干点云数据处理任务，对若干点云数据处理任务进行分析获得各个点云数据处理任务的运算量；获取各个节点处理器的处理能力，根据处理能力以及各个点云数据处理的运算量对处理时长进行预测获得若干节点处理预估时长；其中，节点处理预估时长为预测的各个节点处理器对各个点云数据处理任务的处理时长；获取各个节点处理器的待处理任务量，根据待处理任务量以及节点处理预估时长将各个点云数据处理任务分发至各个节点处理器；通过各个节点处理器对点云数据处理任务进行处理，能够对海量点云数据进行高效处理，点云数据检测结果反馈及时。
海量数据处理方法装置服务器系统

[发明专利]在线电子地图的海量数据显示方法及系统-CN201610110184.6在审
发明人：王计斌;余健;侯潞 -专利权人：南京华苏科技股份有限公司
申请日： 2016-02-29 - 公布日： 2016-06-15 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种在线电子地图的海量数据显示方法及系统，数据处理发布服务端预先收集海量数据，将海量数据符号化，并且按照网页地理系统底图的参数生成瓦片；数据处理发布服务端预先处理好海量数据之后将生成好的瓦片进行发布；网页地理系统客户端实时响应用户的地图操作，生成相关的瓦片数据请求并发送给数据处理发布服务端；数据处理发布服务端响应网页地理系统客户端的请求，并返回所需瓦片数据。该方法及系统中，海量数据通过高性能后台服务器对数据预处理，网页地理系统加载的数据是后台服务器处理过的，这样就大大的提高了网页地理系统客户端的加载效率，减轻网页地理系统客户端压力。
在线电子地图海量数据显示方法系统

[发明专利]一种海量文本数据处理方法及装置-CN201610862797.5有效
发明人：丁俊辉;王宝义;赵昱;李庆云 -专利权人：中国银行股份有限公司
申请日： 2016-09-28 - 公布日： 2019-11-29 - 主分类号： G06F16/31 文献下载
摘要：本发明实施例提供一种海量文本数据处理方法，包括：接收文本数据；根据预先配置的与所述文本数据对应的数据结构提取文本数据；将提取的文本数据以所述数据结构分块存储至对应的分区中；其中，每个分区对应一个或多个数据块本发明实施例提供了一种简单、高效的海海量文本数据处理方法，可以批量处理海量的文本数据，提高资源利用率与数据处理效率。
一种海量文本数据处理方法装置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条