[发明专利]一种多维度的DevOps度量指标采集方法

权利要求书

1.一种多维度的DevOps度量指标采集方法，其特征在于，包括以下步骤：

步骤S1，获取DevOps各阶段工具产生的指标数据所在的结构化数据库元信息；

步骤S2，指标采集组件根据用户自定义数据库查询条件和度量指标维度字段生成DML语句和搜索引擎ElasticSearch索引模板；

步骤S3，调用所述指标采集组件，定时采集度量指标数据，并向搜索引擎ElasticSearch发起批量写入请求；

步骤S4，根据配置的指标维度字段向搜索引擎ElasticSearch聚合查询指标结果。

2.根据权利要求1所述的一种多维度的DevOps度量指标采集方法，其特征在于，在步骤S1之前还包括：步骤S0，实现基于统一用户ID和项目ID的DevOps工具链，

其中，所述DevOps工具链具体包括但不限于以下几种：

(1)Jira需求管理原始数据库；

(2)通过Jenkins REST API获取的项目构建信息，至少包含以下字段：任务全称、触发者、构建结果、任务执行耗时；

(3)SonarQube任务执行数据库，至少包含字段：任务全称，评分，缺陷数，漏洞数，触发者。

3.根据权利要求1所述的一种多维度的DevOps度量指标采集方法，其特征在于，其中，步骤S1包括：

S11、将所述数据库链接信息尝试创建数据库连接对象，并将数据库连接信息写入搜索引擎ElasticSearch；

S12、通过判断数据库类型获取数据的元数据信息，如MySQL或MariaDB数据库的INFORMATION_SCHEMA、Oracle数据库的tablespace_name。

4.根据权利要求1所述的一种多维度的DevOps度量指标采集方法，其特征在于，其中，步骤S2包括：

S21、从步骤S1中的元数据信息中获取数据库表信息和字段信息，选择所需的表，以及表中的有效数据字段和维度字段，指标采集组件通过拼接的方式将查询字段组装成完整的数据库查询语句DML；

S22、指标采集组件将生成的DML和所设置的度量指标维度字段持久化至搜索引擎ElasticSearch的采集配置索引中，其中，度量指标维度字段可为用户ID、项目ID、组织名称等可聚合字段。

S23、指标采集组件根据聚合维度字段为搜索引擎FlasticSearch创建索引模板，模板名称以“表名*”命名，指定字段映射规则，维度字段采用keyword分词，其余字段则不进行分词处理，提高聚合搜索效率。

5.根据权利要求1所述的一种多维度的DevOps度量指标采集方法，其特征在于，其中，步骤S3包括：

S31、在定时执行规定的一次执行周期内，任务开始时，计算当前时间和上次同步时间，并生成如下DML语句：

SELECT表名称(字段1，字段2，字段3，…)WHERE`time_field`＞＝上次同步时间AND`time_field`＜当前时间，其中time_field为原始采集表中定义的时间戳字段；

其中，上次同步时间默认值为Unix初始时间“1970年1月1日0时0分”在S33中动态修改。；

s32、执行DML语句后，将获取到的行数据循环批量写入搜索引擎ElasticSearch，且写入索引名称为查询数据库表的名称；

S33、对S32的执行结果判断，若成功，则在步骤S22中的采集配置索引中更新字段“上次同步时间”为本次执行时间，若失败，则更新采集配置索引内的syncErrorMsg字段，写入失败原因，由于“上次同步时间”未更新，下一个执行周期将继续获取失败周期内的未采集的数据。

6.根据权利要求1所述的一种多维度的DevOps度量指标采集方法，其特征在于，步骤S4包括：

S41、维度字段可根据需要自行选择，但时间字段必须作为布尔查询中的MUST字句，根据时间区间搜索定量数据，防止因数据量过大而导致耗时过长，子聚合维度和聚合方式按需执行。

S42、子聚合的聚合方式可根据需要自行选择，最终生成自定义的聚合查询构造器，向搜索引擎ElasticSearch重新发起查询请求。