[发明专利]一种数据处理方法、装置及计算机存储介质

说明书

本发明实施例公开了一种数据处理方法、装置及计算机存储介质，方法包括：根据数据属性对日志数据进行命名；将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。通过对日志数据进行命名，以实现分类日志数据，日志检索组件对分类后的日志数据进行检索，避免在海量日志数据的场景下，直接检索日志数据，解决了检索效率慢，用户体验感差等问题。

技术领域

本发明涉及软件工程技术领域，尤其涉及一种数据处理方法、装置及计算机存储介质。

背景技术

传统的统一待办系统需要与很多的子系统对接，产生大量的待办数据和日志数据，其中，待办数据用于统一门户检索个人待办数据，日志数据用于核查子系统的同步状况。在传统的统一待办系统中，通常直接登录Linux或者Windows服务器查看日志数据，以核查子系统是否同步成功。当生成一个待办数据时，待办系统的门户页面上将显示该条待办数据的相关信息，当用户办结某条待办数据时，将该条待办数据的待办状态设置为已办状态，待办系统中的门户页面上将显示该条待办数据的办结信息。

目前，日志数据最终要以界面的形式呈现给相关运维人员，因此在海量日志数据的场景下，直接进行日志数据的检索、筛选、分析，会产生性能上的瓶颈问题，比如检索效率很慢，用户体验感很差。

另外，由于统一待办系统对接的子系统较多，同步数据量较大，如果将日志数据都写入数据库，则日志数据必然会非常频繁地写入数据库，导致数据库服务器压力过大，为了解决此类问题，可以部署多个数据库服务器节点，但是又会大大地增加经济成本。并且，在技术方面，传统的日志采集和分析存在诸多缺陷，例如在并行计算、集群计算、分布式计算、网格计算和云计算的环境下，日志文件数量多，采集日志困难，海量日志的查询和分析耗时长、效率低，无法满足系统运维人员的日志分析需求。在待办数据量较大的情况下，由于业务场景要求待办数据需要每隔5秒就刷新一次，其刷新频率较高，查询数据库的次数将对数据库服务器造成很大的压力。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种数据处理方法、装置及计算机存储介质，解决日志数据查询、检索速度慢的问题。

为达到上述目的，本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种数据处理方法，所述方法包括：

根据数据属性对日志数据进行命名；

将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中；所述日志检索组件用于根据所述目录对日志数据进行检索，通过设定格式显示所述日志数据。

上述技术方案中，在所述根据数据属性对日志数据进行命名之前，所述方法还包括：

周期性地监听日志组件中写入日志数据的文件大小，当所述文件的大小产生变化，获取当前写入所述日志组件的日志数据；所述日志组件用于写入服务器产生的日志数据。

上述技术方案中，所述将命名后的日志数据根据所述数据属性发送至日志检索组件中对应的目录中，包括：

根据命名格式筛选日志数据，获得符合命名格式的日志数据；

将符合命名格式的日志数据根据所述数据属性发送至日志检索组件中对应的目录中。

上述技术方案中，所述方法还包括：

根据待办数据的唯一标识确定缓存组件中是否存在所需的待办数据，得到判断结果；

根据所述判断结果确定所述缓存组件存在所述所需的待办数据，从所述缓存组件中获取所述所需的待办数据。

上述技术方案中，所述方法还包括：