“南京录信软件技术有限公司”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果9个，建议您升级VIP下载更多相关专利

[发明专利]一种减少Lucene无字典n-gram切词占用存储空间的方法-CN201911307360.5在审
发明人：母延年 -专利权人： 南京录信软件技术有限公司
申请日： 2019-12-18 - 公布日： 2020-04-28 - 主分类号： G06F16/31 文献下载
摘要：本发明涉及计算机算法技术领域，具体公开了一种减少Lucene无字典n‑gram切词占用存储空间的方法，包括如下步骤，S1：输入数据样例；S2：对数据样例进行SNGram切割，获得跳跃倒排表；S3：对步骤S2所获得的数据倒排表进行ngram切词，创建SNGram的映射；S4：完成数据样例的存储；本发明所提供的方法，先进行粗粒度级别的切词，如每隔8个字切一个词；将粗粒度的词，排重后进一步得出细粒度的词，针对细粒度的词创建索引；从而大幅度的减少倒排表的体积，并提升创建索引的性能，提升1*这种需要匹配很多倒排term的扫描性能。
一种减少 lucene 字典 gram 占用存储空间方法

[发明专利]一种地理位置检索方法-CN201911307381.7在审
发明人：母延年 -专利权人： 南京录信软件技术有限公司
申请日： 2019-12-18 - 公布日： 2020-04-21 - 主分类号： G06F16/29 文献下载
摘要：本发明涉及计算机算法技术领域，具体公开了一种地理位置检索方法，包括如下步骤，S1：获取经纬度的morton码，并将其存储在Lucene中的DocValues中；S2：将DocValues中的morton码经纬度的值迁移到Payload中；S3：在进行经纬度二次验证与剪切的时候，从Payload中进行取值；S4：完成位置检索；本发明通过采用Payload借助倒排本身的连续读取的特征，代替docvalues的随机读取的特点，也即将相同的地理位置的数据存储存储在一起，通过构造连续数据，减少随机读取的次数，从而实现大幅度的提升地理位置的检索匹配速度。
一种地理位置检索方法

[发明专利]一种数据倾斜过载保护方法-CN201911238402.4在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-12-06 - 公布日： 2020-04-03 - 主分类号： G06F11/07 文献下载
摘要：本发明公开了一种数据倾斜过载保护方法，包括如下步骤，S1：程序录入sql语句；S2：sql语句的解析过程；S3：生成逻辑计划；S4：优化逻辑计划；S5：物理计划阶段；S6：执行阶段；本发明通过对当前编写的sql语句进行诊断，判断是否会出现数据倾斜问题，一旦确定会出现数据倾斜问题，则禁止该条问题sql的提交，避免影响到机器的稳定性；主要针对很多人因不擅长写sql语句，写出会引发数据倾斜的问题sql而导致整个集群不稳定的问题，避免了长时间等待任务的执行，提升了大数据数据处理的效率。
一种数据倾斜过载保护方法

[发明专利]一种基于Spark的索引方法-CN201911026342.X在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-10-26 - 公布日： 2020-01-31 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种基于Spark的索引方法，包括如下步骤，S1：在Spark进程中通过自定义消费接口消费实时数据，数据通过索引接口建立索引；S2：修改lucene的原生索引接口；S3：将整个索引程序、查询接口与Spark的服务结合起来；S4：进行数据处理，之后进行数据的查询；主要是在原始的Spark检索上添加了一层索引功能，从而加快了检索性能；该功能在索引层使用的是原生的lucene，通过自定义接口，Spark或者离线程序会将数据索引到HDFS上面，以后的统计分析都可以使用Spark的索引查询快速返回，而在查询语言的使用上选择的是Spark SQL，本发明完美的与Spark SQL引擎结合在一起，这种基于结构化数据的查询语言简化了查询难度，降低了学习成本。
索引查询语言结构化数据自定义接口查询接口检索性能接口建立实时数据数据索引数据通过索引查询索引程序索引功能消费接口查询数据处理统计分析自定义离线检索返回进程学习服务

[发明专利]一种基于Lucene的大索引快速分裂方法-CN201911026343.4在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-10-26 - 公布日： 2020-01-21 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种基于Lucene的大索引快速分裂方法，包括以下步骤：利用Linux下文件的软连接原理，在当前新建索引分片目录上进行标记，标记出当前文件所指向的原索引文件存储位置；借助于Lucene的delete from特性，在当前新建索引分片上删除一半指定的索引数据，在另一块索引分片上删除相反的另一半数据，完成索引文件由一分裂为二的过程；完成索引分裂后，根据删除操作时所使用的删除条件决定当前索引数据定位的存储目录，将后续数据进行重新入库；本发明提供的方法分裂过程无需额外copy开销，删除指定索引数据时效率高，加快了索引分裂的过程；索引分裂过程完成后，后续数据入库索引数据定位规则与上述删除操作的删除条件有关，无需额外算法，简便快捷。
索引索引数据删除分裂分裂过程后续数据删除操作删除条件索引文件入库存储目录存储位置当前文件定位规则软连接算法指向

[发明专利]一种基于Lucene的Payloads压缩方法-CN201911026277.0在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-10-25 - 公布日： 2020-01-17 - 主分类号： G06F16/174 文献下载
摘要：本发明公开了一种基于Lucene的Payloads压缩方法，包括如下步骤，S1、块内存的设定；S2、数据的加载；S3、块的划分；S4、块的压缩；本发明对Payloads文件进行压缩的同时未影响到Lucene原先的API，不影响其功能，封装性较好，也便于之后对Lucene进行各项功能的拓展；采用某个可变长大小作为一个块单位，对超大Payloads文件进行分块压缩，压缩效果极其明显；减少了Payloads文件的存储大小，节省了存储空间，降低了硬件成本；有效解决了存储的索引数据文件较多时，会极大地占用硬件存储空间的问题。
压缩存储索引数据文件硬件存储空间存储空间分块压缩硬件成本有效解决封装性块单位可变加载内存占用拓展

[发明专利]一种基于Lucene的预计算方法-CN201911026278.5在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-10-25 - 公布日： 2020-01-17 - 主分类号： G06F16/2458 文献下载
摘要：本发明公开了一种基于Lucene的预计算方法，包括以下几个步骤：S1、数据处理方式的设定；S2、数据的加载；S3、数据的处理；S4、数据的存储；本发明能够以有限的空间换极大的时间，可以获得较好的统计分析的性能；同时保留Lucene的强大的检索的功能，使之变的更完善，功能更多样性；文件最终存储格式为基于Lucene原有的payload，Lucene进行各项功能的拓展；Lucene并不具备预计算的能力，当进行计算时，消耗大量的cpu和io资源。
预计算数据处理方式存储格式统计分析原有的加载检索存储多样性消耗保留拓展

[发明专利]一种基于列存的多列联合存储的方法-CN201910727581.1在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2019-08-07 - 公布日： 2019-11-05 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种基于列存的多列联合存储的方法，涉及多列储存技术领域，步骤如下：S1：对多列创建联合索引，数据入库时干预数据的排序分布（按照group by排序存储）。S2：多列索引中的每一列采用列存储，每一个列数据存储在单独的连续的区域，每列索引数据分块存储，块是数据存取得最小单位。S3：建立两级跳表查询结构，加速数据的检索。该基于列存的多列联合存储的方法，由于数据都以列的形式存储，在SQL语句执行过程中，节省了行数据库中映射运算的开销，数据按列存储和数据分块的特点，可以根据需要从磁盘只读取有用的属性和数据，以节省IO带宽。
多列存储列存储联合读取多列索引分块存储加速数据排序存储数据分块数据入库索引数据最小单位列数据数据存磁盘映射两级索引跳表排序运算检索数据库储存查询干预创建

[发明专利]一种综合使用多种设备存储海量数据的方法-CN201811264098.6在审
发明人：王帅 -专利权人： 南京录信软件技术有限公司
申请日： 2018-10-29 - 公布日： 2019-03-08 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种综合使用多种设备存储海量数据的方法。该方法通过将一张表的多个数据列拆分出来，根据列的数据特点将数据表中的一个或多个列组成一个组，根据每个列簇的数据特点综合使用多种存储设备，从而达到性能与成本的最佳性价比，增强系统的灵活性，并显著提升系统的整体性能。
海量数据数据特点存储存储设备提升系统数据列

1
共 9 条