“木伟民”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果16个，建议您升级VIP下载更多相关专利

[发明专利]面向复杂混部扰动的在线运行时环境预测方法及装置-CN202310691596.3在审
发明人：刘帆;朱蔚林;木伟民;张云;李名扬;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2023-06-12 - 公布日： 2023-10-20 - 主分类号： G06F18/20 文献下载
摘要：本发明公开了一种面向复杂混部扰动的在线运行时环境预测方法及装置，该方法包括：针对训练集中的算子，分别收集每一算子和多个算子在空节点上运行时的环境关键指标Ts和环境关键指标Tm；基于该关键指标Ts和环境关键指标Tm，分别建立算子的算子画像和多个算子的画像；基于算子的算子画像和多个算子的画像，训练环境预测模型；获取待检测的混部算子中每一算子的算子画像，并将每一算子的算子画像输入训练后的环境预测模型，以得到待检测的混部算子在空节点上运行时的环境关键指标。本发明可以实时恶意流量检测，有效缓解、过滤和防御针对恶意流量的攻击。本发明能够准确预测复杂混部算子运行时环境。
面向复杂扰动在线运行环境预测方法装置

[发明专利]一种面向Hadoop的通用文本格式的解析方法及工具-CN201711095981.2有效
发明人：张云;刘帆;木伟民;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-11-09 - 公布日： 2023-05-02 - 主分类号： G06F40/126 文献下载
摘要：本发明公开了一种面向Hadoop的通用文本格式的解析方法及工具。本方法为：1)对于一待解析的文件，将该文件对应的自定义的行分隔符、字段间分隔符和字段包围符保存到Hadoop系统中；2)Hadoop系统判断该文件是否可分割，若该文件可分割，则将该文件分割为多个块，然后进行步骤3)；否则直接进行步骤3)；3)Hadoop系统根据所述行分隔符解析出该文件的每行数据，然后根据所述字段包围符解析出每条记录包含的所有行数据；然后根据所述字段间分隔符和字段包围符，解析出每条记录中所有的字段。本发明能够根据自定义的符号解析出分布式环境中输入文件的每条记录所有字段，满足了自定义文件的解析要求。
一种面向 hadoop 通用文本格式解析方法工具

[发明专利]一种数据过滤前置的数据交换方法及系统-CN202011378190.2有效
发明人：朱蔚林;迟磊;木伟民;金宗泽;张云;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2020-11-30 - 公布日： 2023-03-10 - 主分类号： G06F16/242 文献下载
摘要：本发明提供一种数据过滤前置的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求，其中所述客户端数据查询请求根据设定过滤规则生成；解析客户端数据查询请求，将得到的任务发送至元数据库，以得到内部数据；转换接收的内部数据，将得到的外部数据经外网服务器返回至相应客户端。本发明因为数据过滤由数据交换系统内部进行，所以客户端只能接到符合过滤规则的数据，从而保障数据安全，降低了客户端的资源消耗。
一种数据过滤前置交换方法系统

[发明专利]一种基于实时查询的数据交互方法及装置-CN202011375913.3有效
发明人：朱蔚林;木伟民;迟磊;金宗泽;张云;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2020-11-30 - 公布日： 2023-03-10 - 主分类号： G06F16/9532 文献下载
摘要：本发明提供一种基于实时查询的数据交互方法及装置，包括：解析接收的客户端数据查询请求，判断所述客户端数据查询请求为长查询或短查询；若为长查询，则依据生成的查询记录对数据库进行查询，并将长查询结果存储至分布式文件系统中；若为短查询，则通过转换得到的系统sql语句对数据库进行查询，得到短查询结果；将获取的长查询结果或短查询结果返回至客户端。本发明支持短查询和长查询两种不同的请求方式，可以根据业务的紧急程度做不同速度的处理；短查询可以跳过中间系统直接访问数据源并返回结果数据，以达到更快的速度；长查询的结果以较小单位依次返回给请求方达到更高的时效性。
一种基于实时查询数据交互方法装置

[发明专利]基于算子作用域动态感知的弹性资源分配方法及装置-CN202210431141.3在审
发明人：刘帆;朱蔚林;木伟民;张云;李名扬;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2022-04-22 - 公布日： 2022-09-06 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种基于算子作用域动态感知的弹性资源分配方法及装置。所述方法包括：构建数据流处理应用的有向无环图，所述有向无环图中的节点表示处理数据流的算子，边表示数据流；根据算子的静态筛选率指标和动态筛选率统计指标来评估上游算子的作用域，自适应地将有向无环图进行分区。预测每个分区未来一段时间的负载；针对每个所述分区中的各算子，基于所述负载生成相应数量的算子实例，以对所述接收数据进行实时处理，满足服务质量要求。本发明以分区为单位规划算子的并行性，从而保证端到端处理延迟，提升资源利用率。
基于算子作用动态感知弹性资源分配方法装置

[发明专利]一种基于消费队列的数据交换方法及系统-CN202011378206.X在审
发明人：朱蔚林;木伟民;迟磊;金宗泽;张云;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2020-11-30 - 公布日： 2021-04-09 - 主分类号： H04L29/06 文献下载
摘要：本发明提供一种基于消费队列的数据交换方法及系统，包括：接收外网服务器发送的客户端数据查询请求；解析客户端数据查询请求，将得到的订阅任务发送至元数据库，以得到消费队列；转换接收的内部订阅任务数据，将得到的外部订阅任务数据经外网服务器返回至相应客户端，其中所述内部订阅任务数据是通过消费客户端消费消息队列而得到。本发明客户端与内网订阅服务通过HTTP交互，不直接接触MQ数据；可通过客户端循环请求，获取数据。
一种基于消费队列数据交换方法系统

[发明专利]基于关键词匹配进行中文网页预分类的方法-CN201610741134.8有效
发明人：张云;冯多;木伟民;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2016-08-26 - 公布日： 2019-11-26 - 主分类号： G06F16/35 文献下载
摘要：本发明涉及基于关键词匹配进行中文网页预分类的方法，该方法在制作分类算法所需要的训练集的过程中，给每条训练网页进行人工标注的同时，将网页中表征该网页的关键词也标注出来，生成关键词表；对每一条测试网页，首先根据关键词表提取出该网页中出现的关键词，然后通过与训练集进行关键词匹配计算，将训练集的标签转移给该测试网页；如果该预分类方法未能给出训练网页的分类结果，该测试网页需要进行进一步的分类计算。该方法降低了如SVM、KNN、朴素贝叶斯等计算复杂的分类技术的运行时间，同时也使分类结果的准确率和召回率都得到了提高。
基于关键词匹配进行中文网页分类方法

[发明专利]一种高可靠分布式数据流实时统计方法及系统-CN201710192864.1有效
发明人： 木伟民;李召希;王坤朋;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-03-28 - 公布日： 2019-11-05 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种高可靠分布式数据流实时统计方法及系统。本发明包括三项技术，技术一为基于MapReduce编程模型的分布式数据流计算模型，将MapReducer模型的思想扩展到了集群概念上，每一Map或者Reducer计算单元都是分布式集群中的一节点，分别称作Mapper或Reducer，所有的Mapper节点组成Mapper集群，所有的Reducer节点组成Reducer集群；技术二为带序号的并发数据传递机制，技术三为基于状态与信号的分布式任务管理调度机制，其中技术一通过保证分布式系统的可扩展性，解决了吞吐量的问题；技术二和技术三分别解决了数据可靠性和任务可用性的问题，从而保证了可靠的语义。
一种可靠分布式数据流实时统计方法系统

[发明专利]一种通用的离线数据接入方法及系统-CN201710521896.1有效
发明人：张云;木伟民;李名扬;刘帆;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-06-30 - 公布日： 2019-11-05 - 主分类号： H04L29/08 文献下载
摘要：本发明公开了一种通用的离线数据接入方法及系统，基于离线数据接入通用处理模板，来适配多种业务数据接入。具有如下优点：1)数据接入与业务耦合度低，数据接入系统更为通用，音视频数据、图片数据、博客数据、即时通信数据等数据源，都可以采用该方法及系统；2)多节点分布式采集数据，在保证数据正确传输的前提下，提供传输的并行度和传输效率，并实现了负载均衡；3)提供完善的异常处理和报错机制；4)实时监控系统运行状态，系统更为稳定。
一种通用离线数据接入方法系统

[发明专利]一种面向通用文本格式的解析方法及工具-CN201710372929.0有效
发明人：刘帆;木伟民;张云;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-05-24 - 公布日： 2019-11-05 - 主分类号： G06F17/22 文献下载
摘要：本发明公开了一种面向通用文本格式的解析方法及工具。本方法为：1)对于一待解析数据a，首先将其对应的各种自定义符号导入解析工具中，然后采用指定的文件编码格式读取该待解析数据a；自定义符号包括行分隔符、字段包围符和字段间分隔符；2)解析工具将解析数据a中的自定义符号统一转换文字符串类型；3)解析工具逐个分析所读取的字符，如果该字符及其后面n个字符组成的字符串与行分隔符一致，则根据行分隔符将待解析数据a分割成行数据；4)解析工具分析得到的行数据，根据字段包围符解析出行数据中所有的记录；5)解析工具逐个分析得到的每个记录，根据字段间分隔符解析出每条记录中所有的字段。本发明大大提高了解析效率。
一种面向通用文本格式解析方法工具

[发明专利]一种基于Spark的数据处理方法及系统-CN201710335307.0在审
发明人： 木伟民;张云;李名扬;张明诚;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-05-12 - 公布日： 2017-12-12 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种基于Spark的数据处理方法及系统。本方法为1)用户根据待处理文档的需求选取算子并配置所选取的算子参数，然后建立所选算子的连接关系，生成场景的XML文件；该场景的XML文件中包括每一所选算子的XML内容以及各算子的连接关系；2)根据场景的XML文件生成相应的有向无环图DAG；3)将该有向无环图DAG切分成若干能够在分布式计算环境下执行的子任务subJob，在Spark计算框架下执行切分后得到的子任务subJob，实现对该待处理文档的处理。本发明能够实现对接各种异构数据，提高了数据处理灵活性。
一种基于 spark 数据处理方法系统

[发明专利]一种基于DAG的面向多计算框架的数据处理方法及系统-CN201710295064.2在审
发明人： 木伟民;张云;李名扬;金宗泽;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2017-04-28 - 公布日： 2017-10-20 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种基于DAG的面向多计算框架的数据处理方法及系统。本方法为1)用户根据目标计算场景选取算子生成该目标计算场景；然后向管理器发送保存场景信息的请求；2)管理器将场景信息保存到场景表中；当收到该目标计算场景的执行请求后，读取该场景表生成包含该目标计算场景信息的作业并发送给调度器；3)调度器根据收到的作业生成对应的算子DAG并验证；对于验证通过的算子生成子作业DAG；然后根据生成的子作业DAG确定每一执行阶段并将其发送给执行器；4)执行器将调度器下发的每一执行阶段的子作业解释为该计算框架下的计算逻辑并触发计算；然后将计算结果提交给调度器。本发明提高了计算框架的计算效率。
一种基于 dag 面向计算框架数据处理方法系统

[发明专利]大规模社交网络社区的检测方法及装置-CN201410158112.X有效
发明人：康颖;王伟平;孟丹;木伟民 -专利权人：中国科学院信息工程研究所
申请日： 2014-04-18 - 公布日： 2017-04-05 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种大规模社交网络社区的检测方法及装置。方法包括将输入的大规模社交网络建模成图G=(V,E)；通过并行排序算法将图G上的所有节点依节点度的大小关系作降序排列，并计算图G上所有节点的有效度之和DSum；以DSum/P为等分基准参考值，依负载均衡法将图G等分为P个子图；将P个子图通过MapReduce并行计算模型遍历寻找图G上的三角形，基于三角形拓扑结构对图G进行并行化多层粗化，获得最简粗化归约图G’；采用基于遗传学的社区发现算法，对最简粗化归约图G’做初始社区发现，生成社区发现结果；将社区发现结果逐层反粗化还原到图G并伴随作微调优处理，获得图G的社区结构。本发明能够精准而高效地实现大规模社交网络的社区发现和数据分析。
大规模社交网络社区检测方法装置

[发明专利]一种基于Spark平台的微博数据预处理方法-CN201610694772.9在审
发明人：张云;李名扬;木伟民;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2016-08-19 - 公布日： 2017-02-01 - 主分类号： G06F17/30 文献下载
摘要：本发明涉及一种基于Spark平台的微博数据预处理方法。该方法包括1)采集微博数据；2)基于Spark平台对采集的微博数据进行去噪处理，并将去噪处理后的微博数据缓存在分布式内存中；3)基于Spark平台对去噪处理后的微博数据进行去重处理，在去重处理中将海明距离小于设定的阈值的文本判定为近似文本。本发明采用Spark平台做为存储及运算的基础，采用内存缓存来提高读写速度，计算节点由Spark平台调度，完成分布式计算，能够实现更准确、高效的去噪、去重功能。
一种基于 spark 平台数据预处理方法

[发明专利]一种通用的两个数据库联合查询方法-CN201610694804.5在审
发明人： 木伟民;张云;吉雨;王琳;王伟平 -专利权人：中国科学院信息工程研究所
申请日： 2016-08-19 - 公布日： 2016-12-07 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种通用的两个数据库(A，B)联合查询方法，步骤包括：1)从A库的对应表中读出数据生成数据文件，基于该数据文件生成SQL文件，并发送到B库节点；2)通过B库提供的接口建立临时表，并把上述数据文件导入该表中，替换SQL中的表名；3)在B库中执行替换好的SQL，把结果生成数据文件，并发回A库节点；4)在A库中建立临时表，把步骤3)的数据文件导入该表中，并把库名和表名返回给用户。该方法具有通用性，尤其是两数据库网不通的情况，通过把查询结果在其中一个数据库中建表，给用户拿到想要的数据结果。
一种通用两个数据库联合查询方法

1
2
下一页»
尾页
共 16 条