[发明专利]标注数据的合格性判断方法、装置和电子设备

说明书

本发明提供了一种标注数据的合格性判断方法、装置和电子设备，该方法包括：获取目标对象的标注数据；确定目标对象的标注数据是否满足指定条件；该指定条件包括与对照对象的标注数据相关的条件；如果目标对象的标注数据满足指定条件，确定目标对象的标注数据合格。该方式基于对照对象的标注数据，确定目标对象的标识数据是否满足指定条件，进而确定目标对象的标注数据是否合格，该方式无需人工判断标注数据的合格性，提高了标注数据判断的精度，并节省了大量的人力成本。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种标注数据的合格性判断方法、装置和电子设备。

背景技术

图像或者视频的质量评价的标注是由标注员根据自己的直观感受进行标注的，对于同一张图像，不同的标注员给出的质量评价的标注可能是不同的，从而使得质量评价的标注具有很强的主观性和不确定性，因此，为了确保质量评价标注的准确性，需要判断标注员的标注是否合格。

相关技术中，通常是从标注员的标注数据中抽取部分数据，再人工对抽取的部分数据的准确性进行判断，以确定标注员的标注是否合格，但是该人工判断的方式判断精度较低，且需要大量的人力成本。

发明内容

本发明的目的在于提供一种标注数据的合格性判断方法、装置和电子设备，以提高标注合格性的判断精度，并降低判断成本。

第一方面，本发明实施例提供一种标注数据的合格性判断方法，该方法包括：获取目标对象的标注数据；确定目标对象的标注数据是否满足指定条件；其中，该指定条件中包括与对照对象的标注数据相关的条件；该对照对象的标注数据和目标对象的标注数据为：针对同一个数据集进行标注的标注数据；如果目标对象的标注数据满足指定条件，确定目标对象的标注数据合格。

在可选的实施方式中，上述指定条件包括：目标对象的标注数据与标注均值的第一相关系数大于或等于第一预设阈值；其中，该标注均值为目标对象的标注数据与对照对象的标注数据的均值；和/或，目标对象的标注数据与对照对象的标注数据的第二相关系数大于或等于第二预设阈值。

在可选的实施方式中，上述数据集中包括多个待处理数据；该标注数据为：对多个待处理数据中每个待处理数据的标注结果；第一相关系数通过下述方式确定：针对每个待处理数据，计算目标对象对当前待处理数据的标注结果与对照对象对当前待处理数据的标注结果的均值；其中，标注均值包括每个待处理数据对应的均值；对标注均值中的每个待处理数据对应的均值进行排列，得到第一序列；按照第一序列中待处理数据的顺序，将目标对象的标注数据排列为第二序列；计算第一序列和第二序列之间的SROCC相关系数，将该SROCC相关系数确定为第一相关系数。

在可选的实施方式中，上述第二相关系数通过下述方式确定：计算目标对象的标注数据与对照对象的标注数据之间的曼哈顿距离；将该曼哈顿距离确定为第二相关系数。

在可选的实施方式中，上述对照对象为多个；上述计算目标对象的标注数据与对照对象的标注数据之间的曼哈顿距离的步骤，包括：计算目标对象的标注数据与每个对照对象之间的曼哈顿距离，得到多个曼哈顿距离；上述指定条件包括：多个曼哈顿距离中的每个曼哈顿距离，均大于或等于第二预设阈值。

在可选的实施方式中，上述指定条件还包括：目标对象的常用选项比例小于或等于第三预设阈值；其中，该常用选项比例由目标对象的标注数据确定。

在可选的实施方式中，上述标注数据包括预设的多个标注选项中的一个选项；该常用选项比例通过下述方式确定：统计目标对象的标注数据中的选项，得到每个选项的使用次数；将使用次数的最大值与标注数据的总数量的商，确定为常用选项比例。

在可选的实施方式中，上述标注数据包括标注用时；上述指定条件还包括：目标对象的标注用时的平均值，大于或等于第四预设阈值；或者，目标对象的标注数据的标注用时小于第五预设阈值的指定数据中，指定数据的标注用时的平均值大于或者等于第六预设阈值。