“季航旭”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果11个，建议您升级VIP下载更多相关专利

[发明专利]一种优化网络多连接的系统和方法-CN201911021143.X有效
发明人：汪诗烨;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2019-10-25 - 公布日： 2023-02-03 - 主分类号： G06F16/2453 文献下载
摘要：本发明公开一种优化网络多连接的系统和方法，属于大数据处理技术领域。该系统包括基于数据字典的连接预算模块和逻辑图重构模块，其中基于数据字典的连接预算模块包括等深直方图生成单元和统计信息管理单元，并基于数据字典设计连接预算模型来描述数据分布质量s，用于连接逻辑图重构模块；逻辑图重构模块又分为连接顺序重排单元和DAG重构单元，运用该系统进行网络多连接优化的方法采用了启发式MMAS算法，保证在相对低的时间复杂度内得到近似最优解，大幅降低了多数据集连接计算的时间，解决现有技术中无法自动优化多连接顺序的问题，能够有效地减少程序的执行时间和网络传输、IO吞吐。
一种优化网络连接系统方法

[发明专利]一种自适应任务调度器及方法-CN201911021198.0有效
发明人：汪志峰;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2019-10-25 - 公布日： 2022-09-09 - 主分类号： G06F9/50 文献下载
摘要：本发明公开一种自适应任务调度器及方法，属于分布式流处理系统负载均衡调度技术领域，该调度器主要包括性能监控数据采集模块、平滑加权轮询任务调度模块以及基于蚁群算法的任务调度模块，采用本发明的自适应任务调度器进行任务调度的方法在任务运行初始阶段，采用平滑加权轮询任务调度算法，根据节点的权重分配任务，在保证选中次数不变的情况下，使得节点不被连续选中；当集群的负载超过设定阈值的时候，为避免拖延任务集合的整体完成时间，使用基于蚁群算法的负载均衡算法在一定的迭代次数内计算出最优的任务分配方案，待集群资源降低到设定阈值下时候，继续采用平滑加权轮询算法。
一种自适应任务调度方法

[发明专利]一种基于受限恢复的图迭代器及方法-CN201911021201.9有效
发明人：韦刘国;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2019-10-25 - 公布日： 2022-09-09 - 主分类号： G06F11/14 文献下载
摘要：本发明公开一种基于受限恢复的图迭代器及方法，属于分布式迭代计算技术领域。该迭代器采用分布式图计算算法的join‑GroupBy‑Union‑aggregation模式将图计算转换操作中的宽依赖转化为窄依赖，并对部分数据进行备份，从而使得只需恢复故障节点而不需要完全将整个计算回退到最近检查点保存的状态；在故障节点恢复时采用所有健康节点来并行恢复，进一步加快了故障恢复的速度；图迭代中在迭代尾部添加检查点的非阻塞检查点模型，加速了检查点的写入速度，并且在尾部检查点添加了迭代感知器，使得仅在当前迭代中的检查点完成后才启动下一个迭代，有助于在迭代图处理期间协调检查点的创建。
一种基于受限恢复图迭代器方法

[发明专利]一种Gaia系统中基于数据特征的动态优先级迭代器-CN202011473342.7有效
发明人：岳晓飞;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2020-12-15 - 公布日： 2022-06-10 - 主分类号： G06F9/48 文献下载
摘要：本发明提供一种Gaia系统中基于数据特征的动态优先级迭代器，涉及分布式大数据计算技术领域。该迭代器包括优先级调度模块、全量迭代计算模块和增量迭代计算模块；优先级调度模块读取数据源的数据作为迭代计算的初始工作集，并在每次迭代任务执行过程中维护一个用于查找和选择数据单元的跳表，以及一个用于保存数据单元对应的状态信息的状态表；并在每次迭代任务开始时按照优先级调整公式来更新状态表，当本次迭代任务所输入的数据单元全部更新完后，确定每个数据单元的优先级；Gaia系统则根据各个数据单元的优先级信息进行迭代计算；全量迭代模块由BulkIterate算子实现迭代计算，增量迭代模块由Delta Itreate算子实现迭代计算。
一种 gaia 系统基于数据特征动态优先级迭代器

[发明专利]Gaia系统中面向融合计算的数据缓存装置与系统-CN202111201901.3在审
发明人：赵恒泰;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2021-10-15 - 公布日： 2022-01-14 - 主分类号： G06F16/2455 文献下载
摘要：本发明公开了Gaia系统中面向融合计算的数据缓存装置与系统，是在Gaia系统中修改数据源算子、数据shuffle虚算子、维表关联计算算子进行实现，涉及分布式大数据处理技术领域。具体包括：Gaia系统中面向融合计算的全量缓存装置和增量缓存装置、以及由若干全量缓存装置构成的分布式缓存系统、由若干增量缓存装置构成的分布式缓存系统和由若干全量缓存装置与增量缓存装置混合构成的分布式缓存系统。每一个装置和系统的应用都将提高Gaia计算系统的缓存扩展能力，扩充整个Gaia计算系统所能缓存的批数据规模上限，进而提高系统所支持的缓存数据上限，提升Gaia系统单位时间内的混合计算效率，降低批数据查询延迟，更有利于处理海量数据的计算。
gaia 系统面向融合计算数据缓存装置

[发明专利]一种Gaia系统中面向迭代计算的并行度动态调整方法-CN202111149214.1在审
发明人： 季航旭;韦刘国;赵宇海;王国仁;吴刚;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2021-09-29 - 公布日： 2021-12-24 - 主分类号： G06F9/50 文献下载
摘要：本发明提供一种Gaia系统中面向迭代计算的并行度动态调整方法，涉及分布式大数据计算系统及迭代计算技术领域。该方法不需要事先预测作业所需资源，而是在作业执行过程中进行迭代资源的动态调整。如果作业执行过程中出现Slot资源不足或占用过高的情况，则根据用户预先设定的资源利用率目标进行相应的Slot资源扩容，使得作业所需的迭代资源得到满足。如果作业执行过程中出现Slot资源浪费的情况，则根据用户预设的资源利用率目标进行相应的Slot资源进行缩容，使得迭代作业所占用的Slot资源数量进行相应的减少。该并行度动态调整方法不需要在作业执行之前就执行相似的作业，也不需要执行专门的作业短示例，无需额外过多的预测时间。
一种 gaia 系统面向计算并行动态调整方法

[发明专利]一种基于Gaia系统的数据分类方法-CN202110961564.1在审
发明人： 季航旭;赵宇海;王国仁;吴刚;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2021-08-20 - 公布日： 2021-11-05 - 主分类号： G06F16/906 文献下载
摘要：本发明提供一种基于Gaia系统的数据分类方法，所述方法基于超限学习机实现，Gaia系统由于其更新的底层流处理计算架构和多种全局优化与执行优化技术，相比于其他分布式计算系统具有更好的执行效率。在批处理模式下可实现海量吞吐，在流处理模式下可实现极速响应；另外，由于超限学习机是一种单隐层前馈神经网络，相比于其他的学习机具有更快的学习速度；将上述两种优势进行结合，可使得本发明实现更高效率的数据分类。再者通过构建的初始数据集UCollection自行判断判定启动批处理环境或流处理环境，用户在使用该学习机进行数据分类时可不用关心数据的类型与来源，只需关注对数据的处理过程即可，为用户的使用带来了极大的便利。
一种基于 gaia 系统数据分类方法

[发明专利]一种基于乐观容错方法的迭代器-CN201911021197.6有效
发明人：郭文鹏;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2019-10-25 - 公布日： 2021-04-02 - 主分类号： G06F11/07 文献下载
摘要：本发明公开一种基于乐观容错方法的迭代器，属于大数据环境下的分布式迭代计算技术领域，该迭代器包括增量迭代器和批量迭代器，综合考虑了不同大小的迭代任务和不同故障率的迭代计算任务，引入一个补偿函数，系统使用该函数重新初始化丢失的分区。发生故障时，系统暂停当前迭代，忽略失败的任务，并将丢失的计算重新分配给新获取的节点，调用分区上的补偿函数以恢复一致状态并恢复执行。对于故障频率较低的情况，大大减少了计算的延迟，提高了迭代处理效率。对于故障频率较高的情况，该迭代器可以保证迭代处理效率不低于优化前的迭代器。该乐观容错迭代器不用添加任务额外的操作，有效降低了容错开销。
一种基于乐观容错方法迭代器

[发明专利]一种Gaia系统中的统一表达API调用系统及调用方法-CN202011477680.8在审
发明人：李文佳;赵宇海;王国仁;季航旭;李博扬 -专利权人：东北大学;北京理工大学
申请日： 2020-12-15 - 公布日： 2021-02-26 - 主分类号： G06F9/46 文献下载
摘要：本发明提供一种Gaia系统中的统一表达API调用系统及调用方法，涉及大数据处理技术领域。该系统及方法首先创建一个管道对象并设置其执行选项作为API的分布式运行环境；管道对象封装整个API的数据处理任务；然后在创建的管道对象中构建API的初始数据集；并对API的数据集进行数据转换，将原数据集通过转换后生成一个新的数据集，而不改变原数据集；最后将数据转换后满足用户需求的数据集输出至指定位置。本发明的调用系统及方法，调用方便，使用简洁，解决了以往分布式系统中对于流计算和批计算相同功能需要使用不同的环境的问题。
一种 gaia 系统中的统一表达 api 调用方法

[发明专利]一种基于双缀过滤的大数据相似性连接方法-CN201511020637.8有效
发明人：王国仁;邓诗卓;信俊昌;聂铁铮;赵相国;季航旭 -专利权人：东北大学
申请日： 2015-12-30 - 公布日： 2019-03-26 - 主分类号： G06F16/31 文献下载
摘要：本发明提供一种基于双缀过滤的大数据相似性连接方法，包括：提取不同数据源的文本格式数据，得到待清洗的实体记录；对实体记录中的元素进行词频统计并对实体记录中的元素按词频升序排序；将实体记录前缀中的每一个元素作为该实体记录的索引，对实体记录建立倒排索引表；对同一个索引内的实体记录对进行双缀过滤相似性连接，得到相似度大于相似度阈值的实体记录对，实现分布式计算。本发明利用实体记录对中前后缀中元素位置信息实现过滤，极大地降低了候选集合的大小，针对不同大小的数据源以及不同阈值的情况，双缀过滤可以达到良好的时间效果。并且双缀过滤可以实现面向大数据的分布式计算，可以将其应用于分布式计算中，提高大数据清洗效率。
一种基于过滤数据相似性连接方法

[发明专利]一种面向大数据的数据清洗系统及方法-CN201410483041.0有效
发明人：王国仁;信俊昌;聂铁铮;赵相国;邓诗卓;季航旭;侯喆;梁帅 -专利权人：东北大学
申请日： 2014-09-19 - 公布日： 2017-07-18 - 主分类号： G06F17/30 文献下载
摘要：一种面向大数据的数据清洗系统及方法，该系统应用层包括数据解析抽取模块、相似连接模块、相似子图聚集模块、实体采样模块、概率计算与实体查询模块，存储层利用Hadoop提供的分布式存储工具HDFS对数据清洗过程中产生的结构化数据记录、相似数据记录对、相似连通子图进行存储，利用Hadoop提供的分布式存储工具HBase对清洗后的结构化数据记录进行存储。该方法包括获取待清洗数据；相似连接；相似子图聚集；实体采样；概率计算与实体查询。本发明是一种面向大数据的数据清洗系统与不确定数据确定化方法，解决了以往的集中式的相似性连接无法适应大规模数据运算的问题，充分利用图以及相关知识创造性的完成大数据清洗，并为海量数据分析提供了数据准备。
一种面向数据清洗系统方法

1
共 11 条