[发明专利]用于机器学习性能测试和改进的数据分片

权利要求书

1.一种方法，包括：

利用机器学习预测模型获得表示系统的系统要求的功能模型，其中所述机器学习预测模型被配置为基于特征向量的估值来提供所估计的预测，其中所述功能模型包括属性集合，每个属性具有相应的值域，其中所述属性集合包括至少一个基于元数据的属性，所述至少一个基于元数据的属性没有包括在所述特征向量中；

基于所述功能模型确定数据分片集合，其中所述数据分片集合中的每个数据分片与所述功能模型的一个或多个属性的不同估值相关联；

获得测试数据实例，其中每个测试数据实例包括原始数据和标签，其中所述原始数据包括元数据；

对于每个测试数据实例，基于所述原始数据确定所述功能模型的每个属性的值，其中所述确定值包括利用所述测试数据实例的元数据，从而将所述测试数据实例映射到一个或多个数据分片；

对于每个数据分片，计算所述机器学习预测模型在所述数据分片上的性能测度，其中所述计算基于所述机器学习预测模型在映射到所述数据分片的每个测试数据实例上的应用，从而对于每个数据分片计算不同的性能测度；以及

基于所述数据分片的性能测度确定所述机器学习预测模型是否符合目标性能要求。

2.根据权利要求1所述的方法，还包括：

获得由用户确定的覆盖目标；

其中基于所述覆盖目标来执行所述确定数据分片集合。

3.根据权利要求1所述的方法，还包括：

响应于确定数据分片的性能测度低于所述目标性能要求，确定对于所述数据分片的第二机器学习预测模型；

其中响应于获得要估计的数据实例，

确定所述数据实例被映射到所述数据分片；以及

利用所述第二机器学习预测模型来提供对于所述数据实例的所估计的预测。

4.根据权利要求1所述的方法，其中所述功能模型还包括对所述属性的约束集合，每个约束定义对所述功能模型的至少两个属性的值组合的约束；其中基于所述约束集合来执行所述确定数据分片集合，由此将每个数据分片与满足所述约束集合的所述功能模型的所述一个或多个属性的估值相关联。

5.根据权利要求1所述的方法，其中所述计算包括：对于每个数据分片，确定映射到所述数据分片的测试数据实例的数量，其中响应于确定映射到数据分片的测试数据实例的数量低于预定阈值，针对所述数据分片提供负性能测度。

6.根据权利要求5所述的方法，其中响应于对所述数据分片提供负性能测度，执行以下至少一项：

添加映射到所述数据分片的测试数据实例；以及

指示无法提供对于映射到所述数据分片的数据实例的所估计的预测。

7.根据权利要求1所述的方法，其中所述确定所述功能模型的每个属性的值包括利用所述测试数据实例的元数据来确定所述至少一个基于元数据的属性的值，其中所述元数据不是用于所述机器学习预测模型的特征向量的估值。