“数据处理框架”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果6090945个，建议您升级VIP下载更多相关专利

[发明专利]数据处理方法、数据处理装置和数据处理系统-CN202211537503.3在审
发明人：王晓;张龙;王同波;李雅歌 -专利权人：用友网络科技股份有限公司
申请日： 2022-12-02 - 公布日： 2023-03-10 - 主分类号： G06F9/448 文献下载
摘要：本发明提出了一种数据处理方法、数据处理装置及数据处理系统。其中，数据处理方法包括：根据用户请求确定预设框架，并根据用户请求将待处理数据输入预设框架；预设框架接收待处理数据，并根据用户请求生成处理策略；预设框架根据待处理数据以及处理策略确定待处理数据的数据状态；预设框架根据数据状态以及处理策略对待处理数据进行数据处理以得到目标数据；预设框架输出目标数据。
数据处理方法装置数据处理系统

[发明专利]在通信系统中处理数据的装置和方法-CN200580035600.0无效
发明人：林栽寅;朴东洙 -专利权人：三星电子株式会社
申请日： 2005-10-27 - 公布日： 2007-09-26 - 主分类号： H04L12/28 文献下载
摘要：本发明提供了一种连接到在通信系统中的核心网络的数据处理装置及其数据处理方法。在所述数据处理装置中，至少一个慢速分组处理框架对于通过低速率数据线接收的业务执行低层操作。至少一个快速分组处理框架对于通过高速率数据线接收的业务执行低层操作。如果在分组处理框架中处理的业务需要高性能数据处理，则向至少一个数据处理框架发送所述业务。所述数据处理框架对于从分组处理框架接收的业务执行高层操作。单元切换器在分组处理框架和数据处理框架之间切换。
通信系统处理数据装置方法

[发明专利]一种模板化的数据处理方法及装置-CN202010176562.7有效
发明人：高体伟;邹立民;贾喜顺;苏萌;刘钰;孙伟 -专利权人：北京百分点科技集团股份有限公司
申请日： 2020-03-13 - 公布日： 2023-01-24 - 主分类号： G06F8/36 文献下载
摘要：本申请公开一种模板化的数据处理方法及装置。所述方法包括：确定包含待处理数据、以及框架标识的数据处理请求；获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑，所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑；根据所述特殊处理逻辑，以及预设的算子模板，生成适配于所述大数据处理框架的目标算子，所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位；响应于所述数据处理请求，根据所述待处理数据，利用所述目标算子执行数据处理
一种模板数据处理方法装置

[发明专利]业务数据处理方法、装置及设备、程序生成方法及装置-CN202010914908.9有效
发明人：宗涛;王和燕;李永存;张康洁 -专利权人：中国银行股份有限公司
申请日： 2020-09-03 - 公布日： 2023-10-24 - 主分类号： G06F8/20 文献下载
摘要：本说明书涉及一种业务数据处理方法、装置及设备、程序生成方法及装置，所述方法包括接收业务数据处理请求；业务数据处理请求包括数据处理配置信息以及程序框架模板标识；程序框架模板标识包括对程序框架模板进行标识的信息；程序框架模板包括预先构建的用于实现指定业务数据处理的COBOL程序框架。调取所述程序框架模板标识所对应的程序框架模板，并基于调取的程序框架模板生成所述业务数据处理请求所对应的业务处理程序框架。利用所述数据处理配置信息对所述业务处理程序框架中的参数进行配置，得到业务处理程序，以利用业务处理程序执行业务数据处理。从而提高业务处理程序构建的效率以及降低业务处理的出错率，进而提高业务处理效率。
业务数据处理方法装置设备程序生成

[发明专利]基于大数据的数据处理方法和装置-CN201610827183.3有效
发明人：郑壮杰 -专利权人：博雅网络游戏开发（深圳）有限公司
申请日： 2016-09-14 - 公布日： 2020-05-29 - 主分类号： G06F16/182 文献下载
摘要：本发明涉及一种基于大数据的数据处理方法和装置。上述方法包括：实时监控并采集各个数据源的第一数据；将所述第一数据传输至分布式消息系统进行存储；从所述分布式消息系统中读取所述第一数据，并将所述第一数据转化为预设格式，得到第二数据；获取与所述第二数据对应的数据处理框架，并将所述第二数据发送到与所述数据处理框架匹配的节点中；通过所述节点对所述第二数据进行处理，并将所述第二数据写入与所述节点匹配的数据处理框架。上述基于大数据的数据处理方法和装置，能够在保证数据处理框架集群的处理压力不会过大的情况下，将数据实时写入数据处理框架，并提高数据处理效率。
基于数据数据处理方法装置

[发明专利]提升社交圈子数据处理性能的方法及装置-CN201711280647.4在审
发明人：沈文策 -专利权人：福建中金在线信息科技有限公司
申请日： 2017-12-06 - 公布日： 2018-05-11 - 主分类号： G06F9/54 文献下载
摘要：本发明提供了提升社交圈子数据处理性能的方法及装置，涉及网络应用技术领域，其中，该提升社交圈子数据处理性能的方法包括：首先，预先设定社交圈子中数据的处理框架，其次，将要处理的数据封装成数据处理接口，并且，将封装好的数据处理接口载入到处理框架中，之后，在处理框架中安装Swoole扩展类，这样，当接收到社交圈子数据处理请求时，运用扩展类对数据处理请求对应的数据处理接口进行并行处理，通过上述处理过程，实现了运用Swoole扩展类开启多个线程，进而对多个数据处理接口进行并行处理的目的，从而优化了对社交圈子中数据处理的性能，提升了用户体验。
提升社交圈子数据处理性能方法装置

[发明专利]一种数据处理方法、装置、设备及存储介质-CN201910778769.9在审
发明人：刘新;张小琼 -专利权人：深圳市元征科技股份有限公司
申请日： 2019-08-22 - 公布日： 2019-11-12 - 主分类号： G06F16/25 文献下载
摘要：本申请公开了一种数据处理方法、装置、设备及存储介质。该方法的步骤包括：接收以流数据方式传入的待处理数据；将待处理数据输入至Spark Streaming计算框架；调用Spark Streaming计算框架根据ETL数据处理逻辑对待处理数据执行相应的数据处理操作由于Spark Streaming计算框架具有分布式计算的特性，能够在相同时刻并行执行对于不同待处理数据的处理，因此Spark Streaming计算框架的数据处理效率相对较高，因此相对确保了对于流数据中海量数据进行处理时的处理效率此外，本申请还提供了一种数据处理装置、设备及存储介质，有益效果同上所述。
待处理数据存储介质数据处理流数据数据处理操作数据处理逻辑数据处理效率数据处理装置分布式计算并行执行处理数据处理效率传入的调用申请

[发明专利]基于边缘计算的数据处理方法及系统-CN201910143801.6在审
发明人：陈潜森 -专利权人：网宿科技股份有限公司
申请日： 2019-02-25 - 公布日： 2019-05-03 - 主分类号： H04L29/08 文献下载
摘要：本发明提供了一种基于边缘计算的数据处理方法，该方法包括：当出现新的数据处理需求时，中心节点向数据处理需求关联的至少一个分布式设备发送数据处理请求；分布式设备获取数据处理请求所需的数据资源，并将数据资源加载至预设的数据计算框架；分布式设备调用数据计算框架中预先集成的数据计算插件，对加载的数据资源进行数据计算；分布式设备从数据计算框架中导出数据计算结果，并将数据计算结果反馈至需求发起方。本发明提供的数据处理方法使得数据处理无中心化，大大降低了中心节点的负载和压力；也提高了分布式设备的性能利用率；且数据处理过程中，减少了数据处理过程中的数据传输量，提高了数据处理效率。
分布式设备数据计算数据处理数据资源数据处理过程数据处理请求数据处理需求中心节点加载数据处理效率数据计算结果数据传输量导出数据调用数据发起方中心化插件预设发送关联反馈

[发明专利]一种利用数据结构控制的数据处理与数据分析框架-CN201710295502.5有效
发明人：贺俊华;傅玉生;王永波;鲜东 -专利权人：成都优易数据有限公司
申请日： 2017-04-28 - 公布日： 2021-05-28 - 主分类号： G06F16/22 文献下载
摘要：本发明提供了一种利用数据结构控制数据处理与数据分析过程的技术框架，框架名称：Hyong，属于大数据框架技术领域。基于业务的数据分析过程是由数据处理过程在数据运算层面来实现的,同时，数据处理和数据分析过程都需要一系列标准化的控制和保护机制。通过对数据处理和数据分析过程的高度抽象，把两个过程的控制和保护以数据结构的方式进行封装。通过开发实施Hyong技术框架，可以把数据处理和数据分析流程以系统化的方式进行整合，并利用基础的数据结构的方式来执行控制，使技术框架具有极高的通用性和极佳的性能表现。
一种利用数据结构控制数据处理数据分析框架

[发明专利]数据处理平台的构建方法、装置、电子设备和存储介质-CN202010061636.2在审
发明人：王红雁 -专利权人：北京京东振世信息技术有限公司
申请日： 2020-01-19 - 公布日： 2021-07-20 - 主分类号： G06F8/60 文献下载
摘要：本发明公开了数据处理平台的构建方法、装置、电子设备和存储介质，涉及计算机技术领域。该方法的一具体实施方式包括：接收配置文件和业务代码；根据配置文件确定数据处理平台的配置参数，配置参数包括数据处理平台所使用的框架类型；根据配置参数、业务代码和与框架类型对应的数据处理组件模板，生成数据处理组件，数据处理组件包括数据接入层组件、数据计算层组件和数据写入层组件；根据数据接入层组件、数据计算层组件和数据写入层组件，构建数据处理平台。该实施方式能够避免需要花费较多的精力在业务代码的部署上，导致工作人员花费大量的时间，降低数据实时加工框架的开发效率。
数据处理平台构建方法装置电子设备存储介质

[发明专利]一种数据处理方法和装置-CN201510867351.7有效
发明人：冯粮城;李俊良;强琦 -专利权人：阿里巴巴集团控股有限公司
申请日： 2015-12-01 - 公布日： 2020-08-14 - 主分类号： G06F16/951 文献下载
摘要：本发明实施例公开了一种数据处理方法，应用于流数据处理框架，流数据处理框架获取业务需求，从用于存储元数据消息的消息队列中依次抓取多个元数据消息，向多个map模块分发抓取的元数据消息，使得多个map模块根据接收到的元数据消息中的存储位置，获取对应的业务数据；并相应的处理获取的业务数据；将多个map模块处理后的业务数据分发到多个reduce模块，使得多个reduce模块对所述处理后的业务数据进行合并处理，输出合并处理结果。通过实时抓取消息队列中的元数据消息，再利用流数据处理框架的实时处理特点，使用实现了MapReduce功能的流数据处理框架处理网络中实时产生的海量数据，处理前不再需要进行预先规划。
一种数据处理方法装置

[发明专利]机器视觉算法框架标准化平台-CN202110991308.7在审
发明人：都卫东;方志斌;顾艺光;王颖静 -专利权人：征图智能科技（江苏）有限公司
申请日： 2021-08-26 - 公布日： 2021-11-26 - 主分类号： G06F8/20 文献下载
摘要：本发明涉及一种机器视觉算法框架标准化平台，包括数据处理单元，所述的数据处理单元配置在不同的PC端，各数据处理单元之间以及数据处理单元与客户端之间通过通讯模块进行数据传输；所述的数据处理单元包括算法框架，所述的算法框架对数据采集设备输出的数据进行算法流程处理并输出检测结果；当配置的某个算法的关联输出数据被其它数据处理单元下的算法作为关联输入使用时，算法框架采用跨PC调用功能实现。本发明增强了算法开发和参数配置的标准化流程，降低了算法开发难度，避免了大量重复开发工作，提高了项目开发效率；支持复杂视觉结构下的算法数据关联，为复杂项目的实施提供了灵活性和便利性。
机器视觉算法框架标准化平台

[实用新型]一种数据处理设备存放用便于散热的存放架-CN201920349512.7有效
发明人：陈力前;王执萍;刘仲文 -专利权人：广东启信数据服务有限公司
申请日： 2019-03-19 - 公布日： 2020-08-11 - 主分类号： H05K7/20 文献下载
摘要：本实用新型属于数据处理领域，尤其是一种数据处理设备存放用便于散热的存放架，针对现有的数据处理设备往往是存放在存放架上，在进行存放过程中，数据处理设备的散热效果差，而且数据处理设备两侧没有限位保护，在外界因素下，容易从存放架摔落等情况的问题，现提出如下方案，包括框架，框架的两侧内壁之间固定有水平设置的放置板，框架的两侧侧壁均开设有对称设置的第一通孔，第一通孔的底部与放置板的顶部平齐，第一通孔内部连接有风机，框架的两侧设置有散热机构本实用新型能够加快数据处理设备的散热效果，能够使数据处理设备内部的电子元件不处于高温状态下运行，提高了数据处理设备的使用寿命。
一种数据处理设备存放便于散热

[发明专利]一种数据调度的方法及装置-CN201610262798.6在审
发明人：田鹏伟;曲秀赟;梁栋;毛怿;罗洪;江川 -专利权人：西门子公司
申请日： 2016-04-25 - 公布日： 2017-10-31 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种数据调度的方法及装置。所述方法包括将源数据按照预定要求添加调度标签，所述调度标签用于识别所述源数据的功能和处理时长要求；根据所述调度标签将所述源数据分派到对应的目标数据处理框架。本发明能够根据数据的功能和处理时长要求调度到不同的数据处理架构进行数据处理，保证了数据可以被正确地分派到目标大数据处理框架，从而提高大数据处理速率。
一种数据调度方法装置

[发明专利]一种基于边缘计算的数据处理方法和边缘计算系统-CN201910139101.X在审
发明人：陈潜森 -专利权人：网宿科技股份有限公司
申请日： 2019-02-25 - 公布日： 2019-04-16 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种基于边缘计算的数据处理方法和边缘计算系统，属于边缘计算技术领域。所述方法包括：当接收到数据处理请求时，目标节点服务器确定数据处理请求对应的目标数据资源和目标计算插件；目标节点服务器获取边缘机器上传的目标数据资源，并将目标数据资源加载至预设的数据计算框架；目标节点服务器调用数据计算框架中集成的目标计算插件，对加载的目标数据资源进行数据计算；目标节点服务器从数据计算框架中导出数据计算结果，向数据处理请求的发起方反馈数据计算结果。采用本发明，使得数据处理无中心化，降低了中心节点的负载和压力；节省了数据传输耗费的带宽资源，提高了数据处理效率；简化了数据处理逻辑的更新和升级过程。
目标节点目标数据数据计算数据处理请求数据处理计算系统目标计算插件计算技术领域数据处理逻辑数据处理效率服务器调用服务器获取服务器确定带宽资源导出数据反馈数据升级过程数据传输中心节点资源加载发起方中心化加载上传预设服务器更新

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 100000 条