“李远策”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果14个，建议您升级VIP下载更多相关专利

[发明专利]一种SparkSQL系统中的数据处理方法和装置-CN201611016865.2有效
发明人： 李远策;李振炜 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-11-18 - 公布日： 2021-08-20 - 主分类号： G06F16/242 文献下载
摘要：本发明公开了一种SparkSQL系统中的数据处理方法和装置。其中所述方法包括：当接收到对SparkSQL系统中的数据表的查询请求时，判断该请求是否命中聚合查询预处理任务的列；如果命中，则将所述查询请求发送至联机分析处理OLAP引擎，接收所述OLAP引擎返回的聚合查询结果；如果未命中，则调用SparkSQL系统的SQL查询模块完成本次查询请求。该技术方案有效地利用了OLAP引擎毫秒级的多维度聚合分析能力，显著地提升了在SparkSQL系统中进行聚合查询的速度。
一种 sparksql 系统中的数据处理方法装置

[发明专利]大数据平台安全访问系统、方法及电子设备-CN201710703773.X有效
发明人：肖康;李远策;王锋 -专利权人：北京奇虎科技有限公司
申请日： 2017-08-16 - 公布日： 2021-05-21 - 主分类号： H04L29/06 文献下载
摘要：本发明公开了一种大数据平台安全访问系统、方法、电子设备及计算机存储介质。其中系统，包括：权限认证模块，适于管理用户角色对数据资源的权限信息；数据加解密模块，适于对写入的数据进行加密；以及对读取的数据进行解密；审计模块，适于实时收集数据操作日志，并将数据操作日志与告警规则进行匹配，若数据操作日志与告警规则匹配，则对数据操作日志对应的数据操作进行实时报警；网关模块，适于利用预设规则对流入/流出网关的数据进行规则检测，对符合预设规则的数据访问进行报警或阻断，从而提升了数据的安全性，以及提高了访问大数据平台的安全性。
数据平台安全访问系统方法电子设备

[发明专利]一种数据存储方法和装置-CN201710363351.2有效
发明人：李振炜;李远策;陈永强;翟鑫达 -专利权人：北京奇虎科技有限公司
申请日： 2017-05-16 - 公布日： 2021-05-18 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种数据存储方法和装置。其中方法包括：将数据进行列式存储；若一列数据的类型为数值型，将该列数据按数据取值的离散度划分为M个组，并为各组分别生成对应的组值；将M个组值作为该列数据的元数据进行保存。该技术方案提供的这种存储手段，为一列数据添加了更多的描述信息，使得在查询等场景下可以利用存储的元数据来判断是否需要读取一列数据，提高了查询效率，减少了资源浪费。
一种数据存储方法装置

[发明专利]大数据实时分析方法、装置、计算设备及计算机存储介质-CN201710702538.0有效
发明人： 李远策;李振炜;翟鑫达 -专利权人：北京奇虎科技有限公司
申请日： 2017-08-16 - 公布日： 2021-02-23 - 主分类号： G06F16/242 文献下载
摘要：本发明公开了一种大数据实时分析方法、装置、计算设备及计算机存储介质，其中，大数据实时分析方法基于第一查询工具和第二查询工具而执行，该方法包括：在第二查询工具中创建数据源，并在数据源中写入原始数据；在第一查询工具中创建数据表，设置数据表的数据源参数为第二查询工具，并配置第二查询工具的地址信息；当接收到对数据表的查询请求时，第一查询工具对查询请求进行解析，生成逻辑执行计划；第一查询工具根据逻辑执行计划，对查询请求进行处理。根据本发明提供的技术方案，实现了对第一查询工具和第二查询工具的整合，能够有效地利用第二查询工具的聚合分析能力，提高了数据查询效率。
数据实时分析方法装置计算设备计算机存储介质

[发明专利]一种在分布式集群中调度显卡资源的方法和装置-CN201710250265.0有效
发明人： 李远策 -专利权人：北京奇虎科技有限公司
申请日： 2017-04-17 - 公布日： 2021-01-19 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种在分布式集群中调度显卡资源的方法和装置。其中方法包括：获取分布式集群中的显卡资源，在显卡资源调度表中记录各PCI‑E总线上的可用显卡数量；接收提交的作业，所述作业中包含该作业申请的显卡数量；查找所述显卡资源调度表，当一个PCI‑E总线上的可用显卡数量满足该作业申请的显卡数量时，从该PCI‑E总线上选择与该作业申请的显卡数量匹配的数量的显卡作为分配给该作业的显卡资源。该技术方案能够尽可能地保证每个提交的作业都利用不需要跨PCI‑E总线进行通信的显卡来执行，避免了因跨PCI‑E总线通信导致的低效率，对于深度学习作业等对显卡资源要求很高的作业类型有着较大的效率提升，调度粒度很细，符合分布式集群的需求。
一种分布式集群调度显卡资源方法装置

[发明专利]一种数据存储方法和装置-CN201710343493.2有效
发明人：李振炜;李远策;陈永强;翟鑫达 -专利权人：北京奇虎科技有限公司
申请日： 2017-05-16 - 公布日： 2021-01-12 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种数据存储方法和装置。其中方法包括：预设磁盘中的各页可存储的行的数量为N，N为自然数；对于数据表中待存储的每一列，为其分配一个包含一组页的列块，并将该列中的数据按顺序存储到该列块中的各页中，其中每一个页中存储该列中的N行数据；在接收到数据查询请求时，根据所述查询请求对应的列，确定待查询的列块，根据所述查询请求命中的对应列中的行，确定该列块中的目标页；将该目标页中的数据读取到内存中，根据所述数据查询请求进行查询。该技术方案通过对列式存储的改进，实现了在确定待查询数据所在行的情况下，快速定位到数据地址，避免读取和遍历大量不必要的数据，加快了查询速度。
一种数据存储方法装置

[发明专利]一种节点网络自组织方法、装置、服务器和系统-CN201610963725.X有效
发明人： 李远策;欧阳文;贾润莹;陈永强 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-10-28 - 公布日： 2019-05-31 - 主分类号： H04L12/24 文献下载
摘要：本发明公开了一种节点网络自组织方法、装置、服务器和系统。其中，方法包括：接收主控节点发送的任务启动指令；选取用于该任务的端口号；将本从节点的主机名和选取的端口号返回给所述主控节点，以使所述主控节点根据各从节点启动的任务及返回的主机名和端口号，生成节点网络图；接收所述主控节点发送的节点网络图。该技术方案将端口号的分配由主控节点更改为各从节点，避免了主控节点分配的端口号与从节点已使用的端口号发生冲突，同时生成的节点网络图可以用于节点网络的管理及从节点间的连接建立，既满足了使用需求，同时提高了节点网络构建的成功率。
一种节点网络组织方法装置服务器系统

[发明专利]GPU资源的管理分配方法和管理分配装置-CN201611209022.4在审
发明人： 李远策 -专利权人：北京奇虎科技有限公司
申请日： 2016-12-23 - 公布日： 2018-07-03 - 主分类号： G06F9/50 文献下载
摘要：本发明提供了一种GPU资源的管理分配方法和管理分配装置，该管理分配方法包括：监测到任一资源节点下的任一GPU的状态发生变化时，获取所述任一GPU的状态信息；基于获取到的所述任一GPU的状态信息，更新所述任一资源节点下的GPU资源信息；接收到来自待运行任务的GPU资源分配请求时，基于多个资源节点下的GPU资源信息，对GPU资源进行分配。本发明技术方案不仅能够提供给该待运行任务内存资源、CPU资源以及网络资源，还能提供给该待运行任务GPU资源，以保证待运行任务的稳定运行，并最终提高分布式存储系统处理和分析大数据的性能；且不会导致该资源节点GPU超负荷运行情况的发生。
管理分配资源节点资源信息分布式存储系统状态发生变化资源分配请求超负荷运行处理和分析内存资源网络资源稳定运行大数据监测分配更新保证

[发明专利]训练作业处理方法及系统、计算设备、计算机存储介质-CN201710703279.3在审
发明人： 李远策;欧阳文;贾润莹;贾宇晗;王磊 -专利权人：北京奇虎科技有限公司
申请日： 2017-08-16 - 公布日： 2017-12-15 - 主分类号： G06K9/62 文献下载
摘要：本发明公开了一种训练作业处理方法及系统、计算设备、计算机存储介质。其中，方法包括获取待处理的基于深度学习技术的训练作业，将所述训练作业进行封装处理，封装得到的训练作业携带封装参数；将封装得到的训练作业提交给调度平台，以供所述调度平台根据所述封装参数为训练作业分配作业运行资源；利用分配的作业运行资源，启动相应的作业执行程序执行所述训练作业，获取执行结果；将执行结果保存至存储系统中。采用本方案，可以针对不同的深度学习训练作业，实现硬件等资源的统一分配管理及数据的统一存取，最终实现深度学习训练作业的平台化处理，提高了处理深度学习训练作业效率，并降低了人工成本。
训练作业处理方法系统计算设备计算机存储介质

[发明专利]一种在大数据集群中查询索引的方法和装置-CN201710549552.1在审
发明人： 李远策;李振炜 -专利权人：北京奇虎科技有限公司
申请日： 2017-07-07 - 公布日： 2017-12-05 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种在大数据集群中查询索引的方法和装置，其中，大数据集群中的一个或多个物理节点上存储有索引文件，在存储索引文件的物理节点上配置有查询索引服务。所述方法包括接收查询索引任务；确定该查询索引任务对应的索引文件所在的物理节点；将所述查询索引任务转发给该物理节点上的查询索引服务，接收所述查询索引服务完成所述查询索引任务并返回的查询结果。该技术方案的优点在于，不需要对提交的大数据计算任务进行较多改进，也不再需要执行大数据计算任务的节点来执行索引查询任务，节约了计算资源；同时只通过网络传输查询索引任务和查询结果，减小了网络开销；由统一的索引服务执行索引查询任务，效率更高。
一种数据集群查询索引方法装置

[发明专利]一种SparkSQL系统中的数据处理方法和装置-CN201611028735.0在审
发明人： 李远策;李振炜;白泉;王锋;武志刚 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-11-18 - 公布日： 2017-04-26 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种SparkSQL系统中的数据处理方法和装置，其中方法包括为SparkSQL系统中的数据表的指定列建立索引；当接收到对数据表的查询请求时，判断该请求是否命中具有索引的列；如果命中，则使用命中的列的索引完成本次查询请求；如果未命中，则通过遍历所述查询请求对应的数据表完成本次查询请求。该技术方案通过为SparkSQL系统中数据表的指定列建立索引的方式显著提高了对SparkSQL系统中数据表的查询速度，在大数据场景下，如果查询请求命中具有索引的列，相比于利用SparkSQL提供的查询方式会有指数级的性能提升，对大数据查询具有极大意义。
一种 sparksql 系统中的数据处理方法装置

[发明专利]一种在大数据集群中处理深度学习任务的方法和装置-CN201610963736.8在审
发明人： 李远策;陈永强;贾润莹;欧阳文 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-10-28 - 公布日： 2017-03-22 - 主分类号： G06N99/00 文献下载
摘要：本发明公开了一种在大数据集群中处理深度学习任务的方法和装置，其中方法包括接收深度学习任务；从大数据集群的节点中分配可执行该深度学习任务的至少一个节点；调用深度学习库接口，在分配的每个节点上启动与该深度学习任务对应的子任务；从所述大数据集群的文件系统中获取用于该深度学习任务的数据；将获取的用于该深度学习任务的数据推送到相应的子任务上进行执行，并将子任务返回的执行结果数据保存到大数据集群的文件系统中的指定位置。该技术方案可以有效地在大数据集群中处理深度学习任务，利用了大数据集群任务并行执行、数据存储量大的优点，可将深度学习与大数据计算进行有机结合，大大提高深度学习任务的执行效率。
一种数据集群处理深度学习任务方法装置

[发明专利]一种指定区域内的实点的密度估计方法和装置-CN201610192946.1在审
发明人： 李远策;李振炜;欧祥钦;陈永强 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-03-30 - 公布日： 2016-08-24 - 主分类号： G06K9/32 文献下载
摘要：本发明公开了一种指定区域内的实点的密度估计方法和装置。其中方法包括：获取所述指定区域内的各实点的坐标信息，生成实点在所述指定区域内的分布图；在所述分布图上生成均匀分布的网格，将网格线的交叉点作为虚点；对于所述分布图上的每个实点，将该实点与其所在网格的周线上的每个虚点连接，每个连接为一条边；计算每个虚点所连接的边的数量；将每个虚点所连接的边的数量标记在所述分布图上，得到所述指定区域中的实点的密度估计分布图。该技术方案可以快速地估计指定区域中的实点密度，同时具有较高的准确度，并且计算量较小。
一种指定区域内密度估计方法装置

[发明专利]动态调度方法及装置-CN201610125284.6在审
发明人：王磊;覃侃;李远策;钟靓 -专利权人：北京奇虎科技有限公司;奇智软件（北京）有限公司
申请日： 2016-03-04 - 公布日： 2016-07-27 - 主分类号： G06F9/48 文献下载
摘要：本发明公开了一种动态调度方法及装置。其中，方法包括：获取多个待调度的作业；在调度过程中，根据每个作业的作业大小和等待时间，动态调整每个作业的调度权重；其中，作业大小越大，等待时间越小，调度权重越小；作业大小越小，等待时间越大，调度权重越大；根据所述调度权重对所述作业进行动态调度。与现有技术相比，本发明提供的方案既能解决FIFO算法存在的大作业阻塞的问题，也能解决Fair算法存在的资源分散的问题，缩短了平均周转时间，提高了调度效率。
动态调度方法装置

1
共 14 条