[发明专利]一种基于流水线画像的任务精准化执行方法与系统

权利要求书

1.一种基于流水线画像的任务精准化执行方法，其特征在于：将流水线节点按照实际操作内容化分为代码模块、构建模块、测试模块和部署模块四个执行模块，各个执行模块分别根据自身运行时的资源需求以及耗时情况生成对应的标签；在流水线执行时，当运行至具有标签的执行模块时，根据执行模块标签的种类给予相对应的资源分配，从而细化任务的调度，使资源的分配更加精准合理，提高资源的利用效率，同时提升流水线的执行效率。

2.根据权利要求1所述的基于流水线画像的任务精准化执行方法，其特征在于：包括以下步骤：

步骤S1、流水线模块划分

依据流水线的执行逻辑流程，将流水线执行的流程节点划分为代码模块、构建模块、测试模块和部署模块四个执行模块；

所述代码模块完成从代码仓库中获取源代码的整个流程，其中包括源码拉取和源码结构特征扫描；

所述构建模块完成从源代码到目标产物的整体过程，包括但不限于编译与构建镜像的过程；

所述测试模块完成源代码的静态测试以及目标产物的动态测试过程；

所述部署模块完成从目标产物到在指定环境提供服务的整体过程，包括但不限于人工确认和脚本执行；

步骤S2、构建流水线画像

在流水线的执行过程中已划分的执行模块形成执行过程信息，将代表流水线特征的信息进行整合作为对当前流水线画像；

步骤S3、分配流水线模块标签

步骤S3.1、构建标签

根据流水线画像描述，提出network-consumption、resource-consumption、complicating和artificial四类标签来精准的控制环境资源的分配，提高流水线执行效率；

步骤S3.2、画像标签条件判定

收集样本，使用K-means聚类处理的方式，将样本通过机器学习进行自动聚合，最终形成符合当前环境的标签判定条件。

3.根据权利要求2所述的基于流水线画像的任务精准化执行方法，其特征在于：所述步骤S2中，作为流水线画像描述的执行过程信息包括但不限于：代码阶段的调用频次F₁，代码阶段的执行时长T₁，构建阶段的调用频次F₂，构建阶段的执行时长T₂，构建阶段拉取依赖所用时长T₃，测试阶段的调用频次F₃，测试阶段的执行时长T₄，测试阶段包含的种类K₄，部署阶段的调用频次F₄，部署阶段的执行时长T₅和部署阶段需要人工确认的次数K₅；其中，时长统计所用的单位均为分钟，频次/次数统计所用的单位均为次/天。

4.根据权利要求2所述的基于流水线画像的任务精准化执行方法，其特征在于：所述步骤S3.1中，统计在指定时间内流水线中代码模块的使用频率，以及每条流水线在代码模块的执行时间，同时通过对源码进行扫描，判断代码是否需要在线获取依赖以及获取依赖时所花费的时间，若发现代码的编译过程需要在线获取依赖，并且所花费时间，以及执行频率达到自定义阈值，就为代码打上network-consumption标签；当执行带有依赖标签的流水线时，优先将流水线上的带有network-consumption标签的执行模块节点分配到高带宽，且带有缓存的环境节点，以提高下载速度，提高流水线的执行效率。

5.根据权利要求2所述的基于流水线画像的任务精准化执行方法，其特征在于：所述步骤S3.1中，在构建过程中，统计构建过程所需要使用的时长与频次，获取一次构建的执行时长均值；当构建的时长均值大于自定义阈值时，为构建过程打上resource-consumption标签；当流水线在执行编译构建时，对于带有resource-consumption标签的构建过程给予更多的CPU和内存分配，提高构建的效率，减少构建的时长，提高流水线的执行效率。