[发明专利]一种面向IO大小的数据库性能问题检测方法

说明书

本发明公开了一种面向IO大小的数据库性能问题检测方法，目的是提供一种有效检测由于IO大小不适配导致数据库性能问题的方法。技术方案为：构建由配置项提取模块，测试样例生成模块，IO相关测试样例提取模块，运行时数据采集模块，不适配问题检测模块构成的数据库性能问题检测系统；配置项提取模块根据数据库配置项列表获得配置项参数集合；测试样例生成模块根据配置项参数集合生成测试样例集合；IO相关测试样例提取模块识别IO相关的配置项，并生成新的测试样例集合；运行时数据采集模块执行测试样例并获取测试结果；不适配问题检测模块根据测试结果，检测IO大小不适配导致的数据库性能问题。采用本发明能有效检测出数据库性能问题。

技术领域

本发明涉及数据库软件中面向性能的配置缺陷检测领域，具体涉及一种面向IO大小的数据库性能问题检测方法。

背景技术

随着大数据、互联网的高速发展，大规模软件系统已经广泛应用于航天、金融、军事、民生等各个领域，成为信息化社会的基础设施，使互联网产业逐步走向“软件定义一切”的时代。然而，用户对软件功能需求不断增长、对软件服务质量要求不断升高、部署软件的外部环境多样变化，这些无不为软件系统的发展带来挑战。与此同时，软件系统不断发展，软件规模和复杂度不断增加，大规模软件使得软件业务逻辑愈发复杂，使得软件的性能愈发难以保证。目前，为适应负载环境与应用需求变化，大规模软件系统均向高可配置化方向发展，从而提升软件服务的可靠性和可用性。

在当今数据驱动的世界中，数据库软件作为大规模软件系统的代表，已经成为了企业和组织不可或缺的基础设施之一，广泛部署于缓存、元数据管理、消息传递和线上购物等商业平台。然而，随着数据量和数据复杂性的不断增加，如何提升数据库的读写速度、读写效率等性能已然成为了一个巨大的挑战。2010年7月，亚马逊公司的电商网站访问量激增，其数据库软件出现了读写性能问题，导致网站变得异常缓慢，并且一些页面无法正常加载，使得亚马逊网站长达数小时不可用，给公司带来了数十亿美金的商业损失。这个事件暴露出了数据库读写性能问题的严重性和影响力，说明数据库的良好性能对于维护数据库的健康运行和确保业务的正常运行至关重要，因此，相关从业人员一直以来为提升数据库软件读写性能不断进行了各种尝试，其中最为直接且典型的方法是更换性能更好的存储设备。

近年来，存储设备经历了革命性的发展，数据库软件的存储设备主要为固态硬盘(SSD)，其中最具代表性的存储设备是SATASSD和NVMeSSD，SATASSD采用SATA接口，通常采用AHCI协议或SATA Express协议传输数据，其性能(主要指读写速度)相对较低，通常的顺序读写速度在500MB/s左右，随机读写速度在100MB/s左右，NVMeSSD采用PCIe接口，通常采用NVMe协议传输数据，其读写性能相对较高，通常的顺序读写速度在3000MB/s左右，随机读写速度在500MB/s左右，其吞吐量最高可达6GB/s，然而，将NVMe SSD直接部署在数据库软件系统中往往无法取得理想效果。大量用户反馈，存储设备升级到NVMe SSD后，读写性能提升十分有限，有时甚至出现性能不升反降的现象。例如，在相同MySQL设置下，NVMe SSD的性能仅达到SATA SSD的一半。出现这一问题的主要原因是，数据库软件设计未能适配存储设备的IO特性。具体而言，数据库发送的IO请求大小与NVMeSSD中的块大小(Block size)存在不适配：一般地，数据库缓存以页为单位发送，IO请求的页大小(例如4KB)通常与SATA SSD物理页大小(一般为4KB)一致。然而，为提高性能，NVMe控制器(FTL)通常采用更高级别的抽象，以块(Block)为基本单元进行性能优化，且通常情况下，块大小(Block size)较大，可达64KB。此时，频繁的小页面写入(如4KB)可能与NVMe SSD中这一优化存在IO大小不适配，导致读写性能下降。