“闫一帅”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果13个，建议您升级VIP下载更多相关专利

[发明专利]一种提升Flink写入HDFS性能的方法及装置-CN202211522576.5在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-11-30 - 公布日： 2023-04-07 - 主分类号： G06F3/06 文献下载
摘要：本发明公开一种提升Flink写入HDFS性能的方法及装置，其中，该方法包括：在checkpoint快照阶段，通过文件续写的方式，将Flink任务进程内存数据续写到HDFS中，同时记录写出文件的offset；在checkpoint恢复阶段，对文件进行截断，并将文件截断到offset位置，再继续写入；在checkpoint快照阶段，将需要关闭的处于正在写入状态的文件放到异步队列中，同时将异步关闭文件操作放入状态缓存中管理；通过多线程进行处理；利用CheckpointID严格单调递增的特性，优化CheckpointID。该方法及装置可以保证数据仓库的稳定性。
一种提升 flink 写入 hdfs 性能方法装置

[发明专利]一种基于数据仓库的向量化设计与实现方法及装置-CN202211643127.6在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-12-20 - 公布日： 2023-03-17 - 主分类号： G06F16/21 文献下载
摘要：本发明公开一种基于数据仓库的向量化设计与实现方法及装置，其中，该方法包括：在向量化执行引擎中，operator层面采用火山模型，按照一次处理一组元组的方式，使用operatortree来解析执行；在向量化执行引擎中，采用列储存结构；在向量化执行引擎中，实现HashAgg算子和HashJoin算子的向量化。该方法及装置的向量化执行引擎采用列存储结构，可以只读取必要的列数据，提高读取效率；向量化执行引擎按照一次处理一组元组的方式，实现批量读取和批量处理，大大减少了虚函数调用的开销，CPU可以把更多的时间集中到实际计算上，从而提升执行效率；引入高效的数据结构和算法，可以将CPU周期减少一个数量级，使扫描、散列、相等和内存拷贝等操作的性能以及整体查询性能提高数倍。
一种基于数据仓库量化设计实现方法装置

[发明专利]一种大数据低频变化数据存储方法及装置-CN202211318490.0在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-10-26 - 公布日： 2023-02-03 - 主分类号： G06F16/22 文献下载
摘要：本发明公开一种大数据低频变化数据存储方法及装置，其中，该方法包括：生成数据聚集存储表，其数据存储结构包括业务编码、日期与聚集数据项关系列表和聚集数据项内容关系列表；根据业务编码关联当前周期变化数据和数据聚集存储表，将当前周期变化数据项与历史数据项一一比对，根据比对结果对数据聚集存储表进行相应数据处理；在数据聚集存储表中，通过指定数据日期进行全量数据请求以及变化数据请求。该方法及装置可以减少存储资源，还可以降低开发难度。
一种数据低频变化存储方法装置

[发明专利]一种Flink状态存储优化方法及装置-CN202211385621.7在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-11-07 - 公布日： 2023-02-03 - 主分类号： G06F16/21 文献下载
摘要：本发明公开一种Flink状态存储优化方法及装置，其中，该方法包括：性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；调优控制器根据参数调整结果集，对RocksDB的配置参数进行动态调整。该方法及装置通过动态调整RocksDB参数，以使其在更好的运行状态下发挥更加极致的性能。
一种 flink 状态存储优化方法装置

[发明专利]一种基于Geode的大数据查询服务方法及系统-CN202211318520.8在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-10-26 - 公布日： 2023-01-24 - 主分类号： G06F16/2455 文献下载
摘要：本发明公开一种基于Geode的大数据查询服务方法及系统，其中，该方法包括：将不同数据源的数据需要缓存对象放入缓存池中，按照优先级进行TopN，再根据热度排序将需要缓存对象依次放入缓存队列中；从缓存队列中取出需要缓存对象进行缓存，并将需要缓存对象的数据从不同数据源抽取到中间层Geode中进行缓存；通过指定需要持久化，实现需要缓存对象的数据持久化；根据缓存队列，每天提前预计算出前一天的离线数据缓存到中间层Geode中，并采用先清理再插入的方式对需要缓存对象的数据进行更新；为用户提供统一对外查询服务接口对需要缓存对象的数据进行查询。该方法及系统解决了项目中多个数据源缓存数据问题及查询方式统一化问题。
一种基于 geode 数据查询服务方法系统

[发明专利]一种基于海量数据并发检索的方法、装置和设备-CN202211045480.4在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-08-30 - 公布日： 2022-12-09 - 主分类号： G06F16/9535 文献下载
摘要：本发明提供了一种基于海量数据并发检索的方法、装置和设备，所述方法包括：数据副本管理器根据检索的历史记录，计算出检索的并发数，将数据分片加载到节点中，形成数据分片的副本；用户发起检索数据分片的请求，检索负载均衡器接收到检索请求后根据存储数据分片的节点负载情况，选择负载最低的节点按照检索请求检索数据分片的数据，并将检索结果返回给检索负载均衡器；检索负载均衡器收到检索请求的结果后，响应给用户；数据副本管理器根据检索的历史记录，按照Prophet时间序列模型实时要预测出未来需要增加副本数。以此方式，在高并发检索场景下，检索响应时长保持在稳定状态，有效地提升了用户的检索体验，并且通过增加机器可以线性提升检索的并发数。
一种基于海量数据并发检索方法装置设备

[发明专利]一种用于数据采集集群化管理方法及装置-CN202210497894.4在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-05-09 - 公布日： 2022-09-02 - 主分类号： H04L67/1001 文献下载
摘要：本发明公开一种用于数据采集集群化管理方法及装置，其中，该方法包括：Master节点通过一套服务调配系统实现高可用，并根据各个Worker节点的监控数据，对Task进行实时动态调度；Worker节点通过多个worker节点实现高可用；一套服务调配系统实现配置的统一管理。该方法及装置提升了运维便利性，减少了业务之间的相互影响，同时通过动态调度，实现了负载均衡，提升了整体的TPS。
一种用于数据采集集群管理方法装置

[发明专利]一种大数据集群数据流调控方法-CN202111562996.1在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2021-12-20 - 公布日： 2022-05-13 - 主分类号： G06F9/54 文献下载
摘要：本发明公开一种大数据集群数据流调控方法，包括：大数据集群的每个节点进行数据流统计、数据流阈值设置及数据流调控触发；分布式监控程序周期性的收集集群各节点并请求数据流统计数据；分布式通知发布程序进行信息接受和发布；分布式监控程序收集各节点数据流数据，计算下个周期各节点数据流阈值；监控程序发布下个周期各节点数据流阈值至分布式通知发布程序；分布式通知发布程序将最新数据流阈值消息通知至集群各节点；集群各节点感知到本节点数据流阈值，重新设置本节点数据流阈值；集群各节点处理请求，统计和判断数据流是否超过阈值。本发明通过分布式调控，计算整个集群的数据流阈值，实现大数据集群的数据流调控，提升流控处理的效率。
一种数据集群数据流调控方法

[发明专利]一种数据加密方法及装置-CN202111563941.2在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2021-12-20 - 公布日： 2022-05-13 - 主分类号： G06F21/60 文献下载
摘要：本发明公开一种数据加密方法及装置，其中，该方法包括：预设不同数据加密需求方与具体加密服务组的映射关系；数据加密需求方调用分布式加密服务；分布式加密服务接收到加密请求后，对加密需求方进行身份认证和鉴权，认证和鉴权通过后，对数据进行加密；加密需求方获取密文后对密文数据进行传输或存储；解密调用方调用分布式数据解密服务对密文进行解密。该方法及装置通过对加解密服务的性能指标进行监控，根据服务性能指标数据动态对服务规模进行细粒度的扩缩容，采用动态加密服务机制，数据生产方和使用方无需接触加解密密钥，杜绝了密钥泄露的风险，安全性更好，极大程度的保证了权限最小化原则。
一种数据加密方法装置

[发明专利]一种基于Spark计算引擎的数据差异比较方法及装置-CN202111562972.6在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2021-12-20 - 公布日： 2022-05-10 - 主分类号： G06F16/27 文献下载
摘要：本发明公开一种基于Spark计算引擎的数据差异比较方法及装置，其中，该方法包括：通过数据加载器加载指定的数据，并对数据做预分区处理；通过数据封装器对数据需要比较的字段做封装处理；封装后的数据由数据差异生成器进行比较，并将差异结果导出到指定的表或文件。该方法及装置实现业务逻辑调整前后的数据快速、全面比对，降低数据同步、数据迁移及数据模型逻辑调整后的未知风险。
一种基于 spark 计算引擎数据差异比较方法装置

[发明专利]一种用户近期行为指标分析的方法及装置-CN202111562998.0在审
发明人： 闫一帅;毛春阳 -专利权人：中盈优创资讯科技有限公司
申请日： 2021-12-20 - 公布日： 2022-05-10 - 主分类号： G06F16/215 文献下载
摘要：本发明公开一种用户近期行为指标分析的方法及装置，其中，该方法包括：对明细数据进行降噪处理；将降噪处理完成后的明细数据进行维度组合，并进行数组处理；将数组处理完成后的浏览日期字段以对应日期转换程序处理成BITMAP编码；统计日期逻辑转换后的浏览日期字段中‘1’的次数以及连续性，即可计算出对应的留存及连续性指标。该方法及装置可以为业务提供快速准确的用户近期类行为分析指标。
一种用户近期行为指标分析方法装置

[发明专利]一种OLAP查询引擎动态cost评估方法及装置-CN202210124268.0在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2022-02-10 - 公布日： 2022-04-29 - 主分类号： G06F16/2453 文献下载
摘要：本发明公开一种OLAP查询引擎动态cost评估方法及装置，其中，该方法包括：采集数据仓库中数据表的数据量和字段基数；同时记录历史查询sql和对应的查询时间；对sql的执行时间进行离散处理，生成标签；同时将数据表的表信息、过滤字段、分析字段、时间分区、表数据量和分析字段基数，生成各自的特征编码；利用已有的机器学习模型，对已有查询样本，根据提取的数据表的特征进行分类算法训练；将OLAP查询引擎的执行计划转化为特征向量，输入机器学习模型中进行基数评估，从而获得数据表的预估查询时间。该方法及装置使OLAP查询引擎能够快速、准确的对输入的查询sql进行cost评估，生成最优执行计划。
一种 olap 查询引擎动态 cost 评估方法装置

[发明专利]一种基于RoaringBitmap海量用户高效圈选方法及装置-CN202011482828.7在审
发明人：毛春阳;闫一帅 -专利权人：中盈优创资讯科技有限公司
申请日： 2020-12-16 - 公布日： 2021-03-23 - 主分类号： G06F16/21 文献下载
摘要：本发明公开一种基于RoaringBitmap海量用户高效圈选方法及装置，其中，该方法包括：将根据用户行为数据创建用户行为的标签库和业务分类的标签库，然后根据标签库创建数据模型，再根据数据模型创建bitmap分区表存放用户历史数据，最终通过自定义函数计算出结果；从数仓数据同步到数据模型中，然后根据规则从数据模型对bitmap分区表进行补数，最后按需对bitmap分区表进行cube加速生成cube_bitmap表；根据用户所选维度选择直接查结果表或者是经过存储过程查询区分走加速cube查询还是从bitmap分区表中查询。该方法及装置实现了在海量用户中能够准确且高效的圈选出所要统计的信息。
一种基于 roaringbitmap 海量用户高效方法装置

1
共 13 条