[发明专利]一种面向GitHub与Travis CI的完整持续集成数据收集方法

说明书

本发明提供一种面向GitHub与Travis CI的完整持续集成数据收集方法，持续监控目标项目在Travis CI上的构建活动，下载并保存新的构建记录，根据新的构建记录从GitHub上精准收集对应的未被收集的代码提交记录。相比于现有技术，本发明能够完整地收集面向GitHub与Travis CI的持续集成数据。

技术领域

本发明涉及软件开发数据收集领域，尤其涉及一种面向GitHub与Travis CI的完整持续集成数据收集方法。

背景技术

软件开发活动数据是软件项目在开发过程中各种开发工具自动记录的数字化的各类开发活动历史。

软件开发活动数据可以用来分析软件开发实践获取相关洞察帮助软件项目提高开发效率和质量。

持续集成数据是软件项目所使用的持续集成工具及版本控制工具所记录的持续集成活动历史。

GitHub是目前一种主流的线上协作平台，该平台的代码变更管理基于Git版本控制系统实现，开发者所提交的代码变更被称为代码提交(commit)，Travis CI是常常与GitHub共同使用的一种主流的线上持续集成工具，用于自动检查新的代码提交是否存在质量缺陷。

GitHub与Travis CI均提供了REST API，两个平台上的持续集成数据也都是开放的，可以使用这些API获取。

由于GitHub所记录的部分代码提交历史会被开发者或者GitHub平台删除，能够被收集到的历史持续集成数据常常是不完整的。

目前，面向GitHub与Travi sCI进行持续集成数据收集的有TravisTorrent项目(https://travistorrent.testroots.org/)，而该项目在数据收集中并没有对上述历史数据不完整问题提出有针对性的方法，而是使用虚拟数据弥补已发现的数据遗漏，这在一定程度上造成了该项目所收集的数据不准确的问题。

本发明通过监控式的、持续的、增量式的数据收集方法，有效解决了数据不完整的问题。

发明内容

本发明所要解决的技术问题是：克服现有的持续集成数据易失性所引起的数据收集不完整问题，提供一种面向GitHub与Travis CI的完整持续集成数据收集方法。

本发明技术解决方案：一种面向GitHub与Travis CI的完整持续集成数据收集方法，包括：

(1)设置需要收集持续集成数据的目标项目，包括目标项目在GitHub与TravisCI上的ID；

(2)以一小时一次的频率，使用Travis CI的项目构建记录查询接口轮询目标项目的线上构建记录，以此实现持续地监控目标项目在Travis CI上的新构建，在每一轮查询中，首先查询线上构建记录的第一页，对比已收集的构建记录，如果没有新的构建记录则停止，否则继续查询下一页并保存新的构建记录；

(3)从步骤(2)收集到的每一条构建记录中抽取该次构建的代码版本所对应的GitHub中代码提交(commit)的ID；

(4)对于步骤(3)中提取的每一个代码提交ID，如果本地没有保存该代码提交的信息则使用GitHub的代码提交查询接口获取其详细信息并保存，同时检查本地是否保存其父代码提交信息，如果没有则继续查询并保存其父代码提交信息，依此类推，直到本地已保存了正在查询的代码提交的父代码提交信息或正在查询的代码提交无父代码提交，以此实现增量式的精准代码提交数据获取，即获取且仅获取新增代码提交的信息。

本发明与现有技术相比的优点在于：

(1)有效解决了持续集成历史数据易失的问题，通过本发明收集的数据能够真实反映目标项目过去的持续集成活动，基于这些数据所得的分析结果更为可靠。