[发明专利]一种存储系统操作日志的聚合方法及相关装置在审
| 申请号： | 201811296971.X | 申请日： | 2018-11-01 |
| 公开（公告）号： | CN109344139A | 公开（公告）日： | 2019-02-15 |
| 发明（设计）人： | 白学余;翟亚永;杨富强 | 申请（专利权）人： | 浪潮电子信息产业股份有限公司 |
| 主分类号： | G06F16/18 | 分类号： | G06F16/18;G06N20/00 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 罗满 |
| 地址： | 250101 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请公开了一种存储系统操作日志的聚合方法，包括：根据聚合方式确定聚合点数量，根据所述聚合点数量构造聚合点的循环列表；根据所述聚合方式依次对所述循环列表内的聚合点循环进行日志聚合；当循环到已进行日志聚合的聚合点时，将所述聚合点的操作日志进行删除，对删除操作日志的聚合点进行日志聚合。通过将日志聚合分布在循环列表的聚合点循环进行日志聚合，当循环到已进行日志聚合的聚合点时，只需要将原有的操作日志进行删除，再进行日志聚合，实现了操作日志的自动删除，避免了人工进行操作，提高了存储系统的可靠性。本申请还公开了一种存储系统操作日志的聚合装置、服务器以及计算机可读存储介质，具有以上有益效果。 | ||
| 搜索关键词： | 日志 聚合点 聚合 存储系统操作 操作日志 聚合方式 删除 计算机可读存储介质 存储系统 聚合装置 删除操作 相关装置 自动删除 原有的 申请 服务器 | ||
【主权项】：
1.一种存储系统操作日志的聚合方法，其特征在于，包括：根据聚合方式确定聚合点数量，根据所述聚合点数量构造聚合点的循环列表；根据所述聚合方式依次对所述循环列表内的聚合点循环进行日志聚合；当循环到已进行日志聚合的聚合点时，将所述聚合点的操作日志进行删除，对删除操作日志的聚合点进行日志聚合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮电子信息产业股份有限公司，未经浪潮电子信息产业股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811296971.X/，转载请声明来源钻瓜专利网。
- 同类专利
- 日志检索方法、装置以及服务器-201910605568.9
- 陈友雄 - 深圳中兴网信科技有限公司
- 2019-07-05 - 2019-11-12 - G06F16/18
- 本发明提供了一种日志检索方法、一种日志检索装置以及一种服务器，其中，日志检索方法包括：根据第一检索规则在原始日志中查找日志，将得到的日志存储为预处理日志集合；将第一检索规则存储为检索规则集合；根据检索规则集合建立预处理日志集合的索引；将索引通过分布式文件系统发送到存储预处理日志集合的存储单元。本发明提供的日志检索方法，根据搜索规则从原始日志中检索出数据，将这些数据形成预处理日志，同时将搜索规则存储到检索规则集合中，用户在对日志进行检索时，从检索规则集合中选取检索规则组合成适合的条件进行检索，得到需要的数据，从而能够从大量的日志中精确快速地获取需要的数据。
- 日志记录方法及装置-201611218267.3
- 许文江 - 金蝶软件(中国)有限公司
- 2016-12-26 - 2019-11-05 - G06F16/18
- 本发明涉及一种日志记录方法及装置，所述方法包括：业务服务器根据日志操作请求接收需要记录的日志信息；所述业务服务器将所述日志操作请求信息和接收的日志信息写入业务服务器中的日志容器中，所述日志容器为所述业务服务器内存中的存储空间；通过内存复制热备份方式将写入至所述日志容器中的所述日志操作请求信息和日志信息复制至日志服务器，所述日志服务器与所述业务服务器连接。本发明可有效提高日志信息的记录效率。
- 基于Docker容器的日志获取方法和装置-201610787072.4
- 常晓宇;郭瑞;田斌;倪顺元 - 中国民生银行股份有限公司
- 2016-08-30 - 2019-11-05 - G06F16/18
- 本发明提供了一种基于Docker容器的日志获取方法和装置，该方法包括：接收用户输入的容器创建指令，容器创建指令中携带宿主机的标识信息；根据宿主机的标识信息，向宿主机发送容器创建指令，容器创建指令中携带容器文件夹挂载参数，以使宿主机创建Docker容器，并创建容器根目录对应的文件夹，在宿主机上创建宿主机根目录和对应的目标地址，将容器根目录对应的文件夹挂载到宿主机根目录对应的目标地址中，对应的目标地址中包括Docker容器的身份标识码；向宿主机发送容器启动指令，以使宿主机的Docker容器将生成的日志分类写入到容器根目录对应的文件夹中；根据目标地址中的容器身份标识码从目标地址中获取Docker容器对应的文件夹，以获取文件夹中的日志。
- 一种关系数据库日志抽取方法-201710224035.7
- 刘赛;聂庆节;刘军;刘嘉华;姜建飞;周忠冉;张磊;缪骞云 - 南京南瑞集团公司;南京南瑞信息通信科技有限公司
- 2017-04-07 - 2019-11-05 - G06F16/18
- 本发明公开了一种关系数据库日志抽取方法，包括获取数据库日志文件路径、日志文件存储格式；打开日志文件，读取数据块，获取数据块大小和数量，确定数据库版本信息；从当前数据块中读取日志记录信息；判断该条日志记录信息是否完整，如果不完整则继续从下一个数据块中读取，直到拼装成完整的日志记录信息；解析完整的日志记录信息，获取操作码，并根据操作码依次读取日志记录信息中的所有变化操作数据；检查变化操作数据是否为有效变化数据，如果不是则丢掉，读取下一个变化操作数据，如果有效则将其添加到数据结果集中，检查完所有变化操作数据，则一次数据抽取结束。本发明可以精确抽取出变化日志数据，同时不会影响数据库自身性能。
- 稀疏数据的访问方法及系统-201710439233.5
- 李为冲;丁洪;傅浩;刘明 - 贵州易鲸捷信息技术有限公司
- 2017-06-06 - 2019-11-05 - G06F16/18
- 本发明提供了一种稀疏数据的访问方法及系统，方法为：在数据库中对数据建立事实表时，创建稀疏矩阵，稀疏矩阵由多个稀疏列组成；在稀疏矩阵中至少对一个稀疏列进行标记，得到被标记的稀疏列，并将被标记的稀疏列作为主键的第一列；获取查询条件，根据查询条件在事实表中进行稀疏列的查询：当查询条件中对应的稀疏列为有效数据，将查询条件中对应的稀疏列作为限定查询条件；当查询条件中对应的稀疏列为无效数据，重新返回步骤S1；根据查询条件和限定查询条件，实现查询条件中对应的稀疏列所对应数据的访问。本发明采用了对稀疏列进行标记的方式，并且不需要二级索引，直接使用基本表，可以在持续数据输入的情况下，高效地对数据进行过滤读取。
- 日志信息的处理方法、装置、存储介质及电子设备-201810354346.X
- 敖志敏 - 沪江教育科技（上海）股份有限公司
- 2018-04-19 - 2019-11-01 - G06F16/18
- 本发明公开一种日志信息的处理方法、装置、存储介质及电子设备，所述日志信息的处理方法包括从服务器中获取配置文件，所述配置文件包括日志信息的存储策略；根据所述配置文件中日志信息的存储策略将内存缓存中的日志信息存储在数据库中；获取查询信息；根据所述查询信息从所述数据库中得到目标日志信息；将所述目标日志信息发送至服务器，用于根据所述目标日志信息对问题进行定位。通过服务器的下发的配置文件的控制，节省了移动设备的资源，如闪存，I/O读写和网络等，同时也为该方案提供了较大的扩展性。根据查询信息可以精准的定位到移动设备中的日志，从而只上报开发者关心的日志数据，帮助开发者更高效的排查问题。
- 审计日志数据的处理方法与系统-201910453645.3
- 王平;何建锋;郭增晖 - 西安交大捷普网络科技有限公司
- 2019-05-28 - 2019-11-01 - G06F16/18
- 本发明旨在提供一种审计日志数据的处理方法与系统，包括：创建临时表，临时表的写操作由MyISAM引擎执行；审计日志数据被采集后，只入库临时表，且临时表只保存第一时长的数据；临时表设定第二时长的数据清理策略；临时表添加触发器，定时执行临时表与原始表的同步操作；取消对临时表所有操作的统计。结合Esper引擎和Memcached的技术方案，通过间接地实现对原始表的读写分离，提高数据的查询效率，同时还改进了数据统计。
- PDM系统中属性数据与文件数据分离后一致性的保证方法-201610855369.X
- 刘杰;邓立 - 武汉开目信息技术股份有限公司
- 2016-09-26 - 2019-10-29 - G06F16/18
- 本发明涉及一种PDM系统中属性数据与文件数据分离后一致性的保证方法。文件系统的事务处理与数据库的事务处理关联起来，合并为一致性的事务，在数据库存储的客户端将数据库事务处理的接口进行封装或重载，在客户端数据库事务处理中嵌入文件系统处理事务，所有的PDM客户端业务请求都采用规定的接口；文件系统通过监控客户端对于数据库的事务的操作，将数据库事务处理与文件系统处理文件进行同步，并根据事务状态和文件请求操作的类型来控制文件的冗余度并标识文件的事务状态，将数据库事务控制的影响范围扩大到文件服务器中的文件中。本方法在保证PDM系统基本功能不受影响的前提下，需要变动的代码量较小；由于大数据从数据库中剥离，数据库的计算压力明显减小，产品的性能得到了很大程度的提升。
- 一种渔捞日志数据处理方法、系统、装置和存储介质-201910540364.1
- 陈森;马胜伟;伍绍森;林凤昊;许明监;冯菲 - 中国水产科学研究院南海水产研究所
- 2019-06-21 - 2019-10-25 - G06F16/18
- 本发明公开了一种渔捞日志数据处理方法、系统、装置和存储介质，所述方法包括接收输入的渔捞日志数据，对所述渔捞日志数据进行校验，搜索可用的通信链路和将通过校验的所述渔捞日志数据通过搜索到的所述通信链路进行上传等步骤。本发明可以免去手工记录纸质登记簿的麻烦，也无需后续对纸质登记簿进行保管和维护，并且手机APP易于下载、推广和应用，避免因纸质登记簿消耗完毕后得不到及时补充而造成渔捞日志无处记录导致数据差错；对于岸上管理人员，可以实时获取到渔船上产生的渔捞日志数据，避免现有技术中需要在渔船泊岸后再交接纸质登记簿并进行人工录入的麻烦以及所带来的时间延迟。本发明广泛应用于渔捞日志数据处理技术领域。
- 日志提取方法及相关设备-201910505732.9
- 王运峰 - 深圳市奥克多普科技有限公司
- 2019-06-12 - 2019-10-22 - G06F16/18
- 本发明公开了一种日志提取方法及相关设备，该日志提取方法包括：将终端日志进行切片存储，其中，每个切片文件的属性包括：文件生成时间；在接收到服务器发送的提取某个时间段的日志请求之后，提取与该时间段对应的至少一个切片文件；基于该至少一个切片文件生成日志文件；将该日志文件上传给该服务器。该日志提取方法自动化操作，无须手动抓取；并且，由于终端的日志数据以多个切片文件形式保存，减少筛选范围，有利于缩减筛选日志时间，本发明有利于提高日志抓取效率，缩短排查终端问题的时间。本发明广泛应用于终端日志的远程提取。
- 日志存储检索方法、电子装置及计算机设备-201910522489.1
- 袁康 - 平安普惠企业管理有限公司
- 2019-06-17 - 2019-10-22 - G06F16/18
- 本发明公开了一种日志存储检索方法。将风险控制系统的多条日志数据存储到第一数据库；根据所述多笔日志数据建立多个键值和组成所述多个键值的各个字段的映射关系，并将所述多个键值与每一个键值的申请号存储到第二数据库；当要检索一条日志数据时，根据某个或某些字段去第二数据库查出对应所述条日志数据的键值；及根据在所述第二数据库查出对应所述条日志数据的键值，再去所述第一数据库查出对应所述键值的日志数据。本发明还提供使用日志存储检索方法的电子装置，通过整合ElasticSearch数据库与HBase数据库，实现海量日志的存储和快速检索。
- 分布式链路追踪的日志系统-201910612374.1
- 吕永康 - 紫光云技术有限公司
- 2019-07-08 - 2019-10-22 - G06F16/18
- 本发明提供了一种分布式链路追踪的日志系统，包括：创建追踪日志存储功能，将输出trace的方式改为输出到log文件，log文件用于提供搜索功能。本发明所述的分布式链路追踪的日志系统的log文件中目前包含了所有想要的日志信息，可以使用grep的方式快速定位问题。
- 数据处理方法及装置、电子设备和可读存储介质-201910622196.0
- 包旭利;吴韵迪;郭开锋 - 中国工商银行股份有限公司
- 2019-07-10 - 2019-10-18 - G06F16/18
- 本公开提供了一种由电子设备执行的数据处理方法，包括：采集来自企业业务系统的多个联机事务日志；根据预设分类要素对多个联机事务日志进行分类，得到多个日志集，其中，多个日志集中的每个日志集具有对应的类别信息；将每个日志集中的联机事务日志输入与日志集的类别信息对应的数据分析模型，对被输入的日志集中的联机事务日志进行处理以得到处理结果，其中，多个日志集中的每个日志集分别具有对应的数据分析模型；以及输出处理结果。本公开还提供了一种由电子设备执行的数据处理装置、一种数据处理系统、一种电子设备和一种计算机可读存储介质。
- 基于层次聚类的日志审计方法-201610808905.0
- 李千目;孙康 - 南京理工大学
- 2016-09-07 - 2019-10-18 - G06F16/18
- 本发明公开了一种基于层次聚类的日志审计方法。系统读入日志信息；根据所读入的日志信息，分析出其中关键字；根据所得的关键字将日志信息进行词向量转化；系统对所得的词向量进行聚类分析，并展示分析所得的小块异常信息。本发明避免了人工审计日志的繁重，并能够实现自动对异常日志信息的过滤，增强了用户体验效果。
- 一种LFS系统中的日志处理方法及装置-201610649070.9
- 张磊 - 武汉深之度科技有限公司
- 2016-08-09 - 2019-10-18 - G06F16/18
- 本发明公开了一种LFS系统中的日志处理方法及装置，所述系统包括AP层、LFS管理器、SP层和设备驱动层，所述方法包括：获取当前进程调用LFS管理器提供的日志写入接口所传入的当前日志文本；对当前日志文本进行日志级别设置，所述日志级别包括调试、信息、警告、错误、致命错误中任一种；通过复制当前日志文本和对应的日志级别，与当前进程的进程号组合生成当前日志信息；获取内存中日志信息列表的线程锁，通过所述线程锁将当前日志信息写入到日志信息列表中，并释放所述线程锁；通过日志线程访问日志信息列表，将其中所有日志信息通过异步dbus消息发送至日志服务器，指示日志服务器将日志信息列表中所有日志信息写入当前日志文件中。
- log4j日志框架的属性配置方法、装置和计算机设备-201910463642.8
- 陈林;丁磊磊 - 平安科技（深圳）有限公司
- 2019-05-30 - 2019-10-15 - G06F16/18
- 本申请揭示了一种log4j日志框架的属性配置方法、装置、计算机设备和存储介质，所述方法包括：接收对log4j日志框架的属性配置指令；根据所述属性配置指令，调取预设的配置文件，其中配置文件中的指定属性的位置上设置有指定系统变量占位符；利用指定系统变量占位符获取所述指定系统变量；若所述指定系统变量与所述指定属性值不相同，则调用预设的系统变量编辑方法将所述指定系统变量编辑为指定属性值；调用预设的配置文件加载方法，以使所述log4j日志框架依据所述配置文件将当前属性值更新为所述指定属性值，从而完成所述log4j日志框架的属性配置。从而实现了对log4j日志框架进行即时属性配置，解决了属性配置耗时长及无法快速生效的技术问题。
- 业务消息发送方法和装置-201410569325.1
- 王兴驰 - 阿里巴巴集团控股有限公司
- 2014-10-22 - 2019-10-15 - G06F16/18
- 本申请实施例涉及一种业务消息发送方法和装置，该方法包括：将对数据库的操作信息记录在数据库日志中，数据库包括第一表格；解析数据库日志，生成数据库变更事件，数据库变更事件包括操作信息，操作信息中包括第一表格的表格名称；当第一表格的表格名称与为业务系统配置的第二表格的表格名称相同时，监听数据库变更事件；从数据库变更事件中提取操作信息，并构造业务消息；将业务消息发送给业务系统，用以业务系统根据业务消息统计业务变更情况。由上可见，本申请实施例通过对数据库的操作信息进行记录，从而监听数据库变更，能够更准确地确认发生数据库变更，相应地，可以提高发送业务消息的准确性。
- 一种网络审计日志的传输保存系统和方法-201611095169.5
- 申常扳;张健冰;李智勇;刘刚;唐新民;沈智杰;景晓军 - 任子行网络技术股份有限公司
- 2016-11-30 - 2019-10-15 - G06F16/18
- 本发明提供了一种网络审计日志的传输保存系统，包括日志审计探针、日志处理服务器和日志存放设备，日志审计探针，用于将采集到的内容信息以文件的形式和摘要日志的形式分类保存，并将文件和摘要日志上传到日志处理服务器；日志处理服务器，连接于日志审计探针，用于根据文件和摘要日志合成日志记录；日志存放设备，连接于日志处理服务器，用于保存日志记录，并提供日志查询服务。由此将摘要日志和文件内容分开存放，统一了网络日志的保存格式，降低了在传输和保存大量网络日志时对内存和网络带宽的消耗。
- 处理自动化系统的日志文件的方法及其应用和自动化系统-201580017465.0
- 亚历山大·施托尔;斯特芬·保尔;米哈伊尔·罗辛 - 西门子公司
- 2015-03-24 - 2019-10-15 - G06F16/18
- 本发明涉及一种用于自动地处理技术设备的自动化系统(1)的多个日志文件(P1至Pn)的方法，该方法包括如下步骤：通过将日志文件(P1至Pn)的相应的数据组(D1至Dn)的全部内容链接来确定日志文件(P1至Pn)的每个数据组(D1至Dn)的至少一个消息部分(N1至Nn)，将全部日志文件(P1至Pn)的数据组(D1至Dn)在总文件(SD)中组合，将全部日志文件(P1至Pn)的数据组(D1至Dn)在总文件(SD)中以时间顺序排序，压缩在总文件(SD)中的每个数据组(D1至Dn)，通过一个或多个数字的代码(Kx)将总文件(SD)中的压缩的数据组(D1至Dn)编码，根据确定的数字的代码(Kx)将压缩的数据组(D1至Dn)排序和并分配至至少一个具有对应的组码(KGy)的组(Gy)，并且通过对分配的组(Gy)的组码(KGy)解码来输出日志文件(P1至Pn)的字母数字的消息部分(N1至Nn)，并且输出解码的组码(KGy)。
- 利用多级散列函数来确定存储地址的对象存储系统-201910149912.8
- M.J.库马尔;A.R.查加姆雷迪 - 英特尔公司
- 2019-02-28 - 2019-10-11 - G06F16/18
- 本发明涉及利用多级散列函数来确定存储地址的对象存储系统。描述了由对象存储系统中的分级硬件元件布置中的第一硬件元件执行的方法。该方法包括对对象存储系统的对象的名称执行散列。该名称是与该对象相关联的请求的一部分。该散列的结果是要标识在分级布置中直接在第一硬件元件下方的第二硬件元件。该请求要被发送给第二硬件元件以使该请求向前前进以由对象存储系统为其提供服务。
- 接口调用数据处理方法、装置和计算机设备-201710309458.9
- 陈林;张国辉 - 平安科技（深圳）有限公司
- 2017-05-04 - 2019-10-01 - G06F16/18
- 本发明涉及一种接口调用数据处理方法、装置和计算机设备，所述方法包括：接收接口调用请求，获取所述接口调用请求中的目标接口编码；获取与目标接口编码对应的目标数据格式；按照获取的所述目标数据格式，将所述接口调用请求中的调用参数进行相应的格式转换；根据接口路由服务中设置的接口编码与接口地址之间的映射关系，获取与所述目标接口编码对应的接口地址；根据所述接口地址，将格式转换后的调用参数分配至相应的目标接口进行调用处理。节省了接口调用处理成本。
- 一种数据处理方法及装置-201410515092.7
- 贾士博;熊劲;岳银亮;刘扬宽 - 华为技术有限公司;中国科学院计算技术研究所
- 2014-09-29 - 2019-10-01 - G06F16/18
- 本发明实施例公开了一种数据处理方法及装置，用于对热数据进行热度统计，并根据热度统计的接管对数据进行重分布。本发明实施例方法包括：在与所述LSM Tree的第一目标层对应的存储空间中确定待合并的第一数据，所述第一数据的键key值为第一key值；在与所述LSM Tree的第二目标层对应的存储空间中确定key值为所述第一key值的第二数据；确定所述第一数据为最近接收的热数据；从所述第二目标层对应的存储空间中删除所述第二数据；将所述第一数据从所述第一目标层对应的存储空间迁移到所述第二目标层对应的存储空间中；将所述第一数据重新写入所述存储系统的内存空间。
- 版本自动部署方法、装置、计算机设备和存储介质-201910648694.2
- 曹璐;何骏;杨宇;盛新庆 - 中国银行股份有限公司
- 2019-07-18 - 2019-09-24 - G06F16/18
- 本申请提供了一种版本自动部署方法、装置、计算机设备和存储介质，其中，该方法包括：响应于版本部署指令，获取程序配置文件和密码配置文件；从程序配置文件中读取目标命令和执行目标命令的服务器名，从密码配置文件读取服务器名对应的目标服务器的登录信息和目标命令的标识信息；根据登录信息登录目标服务器，并将目标命令发送至目标服务器，以通过远程过程调用来调用目标服务器执行目标命令；接收目标服务器返回的执行结果信息，并将标识信息与执行结果信息进行匹配，以确定目标命令是否执行成功。上述方案可以有效提高版本部署效率，减少操作失误。
- 一种基于Hadoop平台的物联网日志处理方法和装置-201510996886.4
- 廖召正 - TCL集团股份有限公司
- 2015-12-24 - 2019-09-17 - G06F16/18
- 本发明提供一种基于Hadoop平台的物联网日志处理方法和装置，以提高系统输出的日志的可分析性，并满足业务报表的周期性输出需求。所述方法包括：配置物联网日志的日志格式并按照配置的日志格式采集物联网日志；将采集到的物联网日志按照类别标识字符串标识的类别进行分类聚合并将分类聚合后的物联网日志的存储路径记录至日志备忘表；定时更新日志备忘表或将分类聚合后的物联网日志中需要形成数据报表的物联网日志加载至hive表的日期分区。本发明提供的技术方案使得输出的日志的可分析性显著增强，能够满足需要周期性输出分析结果的业务的需求。
- 日志处理方法、相关设备及系统-201711272235.6
- 陆元飞;梁锋;刘存伟 - 华为技术有限公司
- 2017-12-05 - 2019-09-13 - G06F16/18
- 本发明实施例提供一种日志处理方法、相关设备及系统，该方法包括：第一节点在初始化时获取存储节点集群的状态消息，该状态消息标记了该存储节点集群的存储主节点；该第一节点为计算节点集群中具有写操作能力和读操作能力的计算主节点；该第一节点根据该状态消息向该存储主节点发送第一写操作请求，以使该存储主节点与该存储节点集群中的存储从节点对已接收的日志达成一致后对第一写操作达成一致；该第一节点接收该存储主节点与该存储节点集群中的存储从节点对该第一写操作达成一致后发送的反馈消息，该反馈消息包括标识信息和针对该第一写操作请求的响应，该标识信息用于指示已达成一致的日志。采用本发明实施例，能够避免日志出现混乱。
- 日志文件管理方法、装置、计算机设备及存储介质-201910375485.5
- 李巍 - 平安科技（深圳）有限公司
- 2019-05-07 - 2019-09-10 - G06F16/18
- 本申请涉及云监控技术领域，通过对日志文件管理实现日志监控。具体公开了一种日志文件管理方法、装置、设备及存储介质，该方法包括：通过所述日志采集组件获取主机的磁盘信息，所述磁盘信息包括磁盘的使用信息；根据所述磁盘的使用信息确定日志采集策略和日志压缩策略；根据确定的日志采集策略采集所述主机产生的日志文件；根据确定的日志压缩策略对所述日志文件进行压缩处理以得到压缩日志文件；将所述压缩日志文件上传至预设的云端进行存储。该方法可以减小磁盘的存储空间，进而提高数据库系统的运行效率。
- 信息处理的方法、装置、服务器及计算机可读介质-201810113384.6
- 黄远强 - 北京智明星通科技股份有限公司
- 2018-02-05 - 2019-09-06 - G06F16/18
- 本发明实施例提供了一种信息处理的方法、装置、服务器及计算机可读介质，涉及信息处理技术领域，用以进一步提高数据存储的稳定性。在该方法中，服务器响应于客户端发起的数据修改请求，对所述数据修改请求指定的第一目标数据进行修改，得到第二目标数据；将所述第二目标数据按照指定方式写入日志文件；将所述日志文件同步至网络侧数据库。本发明实施例可适用于设备内存数据稳定性管理的过程中。
- 一种数据处理方法及装置-201910327309.4
- 陈义哲 - 深圳壹账通智能科技有限公司
- 2019-04-23 - 2019-09-06 - G06F16/18
- 本发明实施例提供了一种数据处理方法及装置，本发明涉及大数据技术领域，方法包括：获取第一文件数据，第一文件数据为用户行为日志数据；读取第一文件数据的分割规则，分割规则为固定份数分割、固定容量分割、固定行数分割中的至少一种；按照分割规则对第一文件数据进行分割，得到多个子文件，其中，每个子文件包括至少一条用户行为日志数据；将多个子文件写入目标数据库，每个子文件设有时间段标识；根据预设的筛选条件筛选目标数据库，得到与筛选条件相符合的用户行为日志数据，筛选条件包括用户信息、时间段信息、用户行为分组中的任意一种。本发明实施例提供的技术方案能够解决现有技术中用户行为日志文件处理效率低的问题。
- 日志管理的方法、装置及系统-201910425435.3
- 张磊;吴峰;郭伟 - 上海易点时空网络有限公司
- 2019-05-21 - 2019-09-06 - G06F16/18
- 本申请公开了一种日志管理的方法、装置及系统。该申请的方法包括服务器接收客户端通过守护进程发送的错误日志；对错误日志进行解析，确定所述错误日志中与查询字段匹配的信息，所述查询字段为对错误日志进行查询时使用的字段；将与所述查询字段匹配的信息以及查询字段通过网页后台列表形式展示得到错误日志列表。本申请解决分布式架构部署服务器造成调试困难的问题。
- 基于cassandra数据库的日志数据存储方法、装置和计算机设备-201910324966.3
- 钟文琴 - 平安科技（深圳）有限公司
- 2019-04-22 - 2019-08-30 - G06F16/18
- 本申请揭示了一种基于cassandra数据库的日志数据存储方法、装置和计算机设备，其中方法包括：接收待存储的日志数据；获取日志数据的traceID，以及获取当前的时间信息加上日志数据中指定信息形成的查询条件信息；以traceID为参数进行哈希运算得到第一哈希值，并根据第一哈希值将日志数据存储到cassandra数据库的第一节点的第一列表中；以及，以查询条件信息为参数进行哈希运算得到第二哈希值，并根据第二哈希值将日志数据存储到cassandra数据库的第二节点的第二列表中。由于存储日志数据的时候，分别使用traceID和带有时间信息的查询条件信息进行哈希计算，所以可以比较均匀分布地将日志数据存储到cassandra数据库的各节点中，可以有效地防止日志数据存储过程中出现热点数据问题。
- 专利分类
