[发明专利]标注数据的合格性判断方法、装置和电子设备

权利要求书

1.一种标注数据的合格性判断方法，其特征在于，所述方法包括：

获取目标对象的标注数据；

确定所述目标对象的标注数据是否满足指定条件；其中，所述指定条件包括与对照对象的标注数据相关的条件；所述对照对象的标注数据和所述目标对象的标注数据为：针对同一个数据集进行标注的标注数据；

如果所述目标对象的标注数据满足所述指定条件，确定所述目标对象的标注数据合格。

2.根据权利要求1所述的方法，其特征在于，所述指定条件包括：

所述目标对象的标注数据与标注均值的第一相关系数大于或等于第一预设阈值；其中，所述标注均值为：所述目标对象的标注数据与所述对照对象的标注数据的均值；

和/或，所述目标对象的标注数据与所述对照对象的标注数据的第二相关系数大于或等于第二预设阈值。

3.根据权利要求2所述的方法，其特征在于，所述数据集中包括多个待处理数据；所述标注数据为：对所述多个待处理数据中每个待处理数据的标注结果；所述第一相关系数通过下述方式确定：

针对每个待处理数据，计算所述目标对象对当前待处理数据的标注结果与所述对照对象对所述当前待处理数据的标注结果的均值；其中，所述标注均值包括每个待处理数据对应的均值；

对标注均值中的每个待处理数据对应的均值进行排列，得到第一序列；

按照所述第一序列中待处理数据的顺序，将所述目标对象的标注数据排列为第二序列；

计算所述第一序列和所述第二序列之间的SROCC相关系数，将所述SROCC相关系数确定为所述第一相关系数。

4.根据权利要求2所述的方法，其特征在于，所述第二相关系数通过下述方式确定：

计算所述目标对象的标注数据与所述对照对象的标注数据之间的曼哈顿距离；将所述曼哈顿距离确定为所述第二相关系数。

5.根据权利要求4所述的方法，其特征在于，所述对照对象为多个；

所述计算所述目标对象的标注数据与所述对照对象的标注数据之间的曼哈顿距离的步骤，包括：

计算所述目标对象的标注数据与每个所述对照对象的标注数据之间的曼哈顿距离，得到多个曼哈顿距离；

所述指定条件包括：所述多个曼哈顿距离中的每个所述曼哈顿距离，均大于或等于所述第二预设阈值。

6.根据权利要求1所述的方法，其特征在于，所述指定条件还包括：

所述目标对象的常用选项比例小于或等于第三预设阈值；其中，所述常用选项比例由所述目标对象的标注数据确定。

7.根据权利要求6所述的方法，其特征在于，所述标注数据包括预设的多个标注选项中的一个选项；所述常用选项比例通过下述方式确定：

统计所述目标对象的标注数据中的选项，得到每个选项的使用次数；

将所述使用次数的最大值与所述标注数据的总数量的商，确定为所述常用选项比例。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述标注数据包括标注用时；

所述指定条件还包括：所述目标对象的标注用时的平均值，大于或等于第四预设阈值；

或者，所述目标对象的标注数据的标注用时小于第五预设阈值的指定数据中，所述指定数据的标注用时的平均值大于或者等于第六预设阈值。

9.一种标注数据的合格性判断装置，其特征在于，所述装置包括：

数据获取模块，用于获取目标对象的标注数据；

条件判断模块，用于确定所述目标对象的标注数据是否满足指定条件；其中，所述指定条件包括与对照对象的标注数据相关的条件；所述对照对象的标注数据和所述目标对象的标注数据为：针对同一个数据集进行标注的标注数据；

合格性确定模块，用于如果所述目标对象的标注数据满足所述指定条件，确定所述目标对象的标注数据合格。