[发明专利]一种数据访问监控装置

说明书

本发明公开了一种数据访问监控装置，包括集中配置模块：配置被监控主机列表、采集监控项、采集时间、采集格式以及业务模块与SQL语句的对应关系；统一采集模块：根据集中配置模块的配置信息实时采集相关元数据并发送给质量分析模块进行实时分析；质量分析模块：根据采集到的元数据统计数据库使用访问情况和系统资源消耗情况，并对引起系统资源异常消耗的数据库使用访问进行优化。本发明通过实时采集、监控业务量与主机资源使用情况，准确地结合业务量历史变化趋势估算扩容需求与优化需求，使资源消耗清晰化，扩容与优化需求可预见化，大大降低故障发生率和管理成本，提高系统的稳定性。

技术领域

本发明涉及一种数据处理装置，尤其涉及一种数据访问监控装置。

背景技术

现有大中型企业IT系统数据主要存放在数据库中，业务操作过程中产生的数据通过持久化保存在数据库中。数据从来都不可能是原始的，数据总是依照某人的倾向和价值观念而被构建出来，例如配置数据，当系统启动时需要读取配置数据进行初始化，配置数据随着业务系统而被构建，并且成为系统密不可分的一部分。对数据的读取、修改称为数据的访问，而数据访问的方式不同呈现的访问质量也不相同。

数据库中数据访问质量不仅包括数据访问方式，还包括数据访问效率。数据访问方式包括数据访问路径即全表扫描、索引读取等，数据访问方式还包括数据关联即HASHJOIN、NEST LOOP、MERGE JOIN等。数据访问效率指数据访问时长，即从命令发起到结果返回的时间，通过访问方式与访问效率相结合来表示数据访问质量，访问方式越优、访问效率越高数据访问质量也越高，对系统资源消耗越少，应用系统性能也越卓越

现有的方案主要有2种途径：

1、通过对数据库SQL语句进行扫描，根据既定规则进行SQL质量即数据访问质量审核，对SQL进行质量评分。

2、通过监控采集数据库系统的负载指标，通过自动工作负载信息库(AWR)查询历史情况，定期对最耗资源的TOP SQL语句进行分析与质量评分。

现有技术存在以下缺点：

方法一：通过对数据库SQL进行扫描，将业务SQL抽取出来并与规则进行匹配，例如：超过三层嵌套循环、数据表不存在索引、数据量超过2G没有进行分区等规则进行匹配，对SQL进行评分。通过该方法虽然可以在规范纬度对SQL进行综合评分，但是因为没有结合实际情况使得评分有极大的几率失去真实性，而且因为没有结合真实的负载，会导致一些在评分规则内属于合格SQL变成系统的隐患。

方法二：通过自动工作负载信息库(AWR)查询历史情况，再对出现问题的TOP SQL进行优化，虽然可以解决系统的问题，但是因为解决手段在发生问题之后，因此没有办法做到对系统数据访问实现管控的作用。而且等到问题发生之后再介入处理使得运维处于被动的状态，不利于系统稳定运行，甚至出现运维失控，导致系统出现长时间崩溃的情况。

发明内容

本发明所要解决的技术问题是提供一种数据访问监控装置，能够结合业务变化量实时监控基础资源利用率，精确控制系统资源的扩容计划，大大降低故障发生率和管理成本，提高系统的稳定性。

本发明为解决上述技术问题而采用的技术方案是提供一种数据访问监控装置，包括集中配置模块：配置被监控主机列表、采集监控项、采集时间、采集格式以及业务模块与SQL语句的对应关系；统一采集模块：根据集中配置模块的配置信息实时采集相关元数据并发送给质量分析模块进行实时分析；质量分析模块：根据采集到的元数据统计数据库使用访问情况和系统资源消耗情况，并对引起系统资源异常消耗的数据库使用访问进行优化。

上述的数据访问监控装置，其中，还包括：历史数据归档模块：对元数据进行压缩归档，并根据配置的离线时间下线较早部分的元数据；对结果数据归档用作报表展示与历史趋势分析；自定义展示模块，根据选择的时间范围、目标主机信息向历史数据归档模块请求数据，并将从历史数据归档模块返回的数据进行展示与分析。