[发明专利]一种图像集中自动识别商品的方法和设备

权利要求书

1.一种图像集中自动识别商品的方法，其特征在于，包括以下步骤：

获取待识别商品的图像；

通过预先训练的目标检测模型在所述待识别商品的图像中截取待识别商品的商品单图；

通过预先训练的深度神经网络提取所述商品单图的特征向量；

将所提取的商品单图的特征向量与已识别商品特征向量库中的商品特征向量进行匹配，根据匹配结果确定待识别商品的商品类型；

其中，所述已识别商品特征向量库存储有商品特征向量与商品类型之间的映射关系。

2.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，将所提取的商品单图的特征向量与已识别商品特征向量库中的商品征向量进行匹配，根据匹配结果确定待识别商品的商品类型的方法包括：

计算已提取的商品单图的特征向量与已识别商品特征向量库中各商品特征向量之间的距离；

若计算得到的距离小于阈值，则将待识别商品的商品类型确定为相应商品特征向量所映射的商品类型。

3.根据权利要求2所述的图像集中自动识别商品的方法，其特征在于，根据匹配结果确定待识别商品的商品类型的方法还包括：

对于距离计算结果均大于或等于阈值的待识别商品单图的特征向量，将待识别商品单图的特征向量存入未识别特征向量库；

对未识别特征向量库中的多个商品单图的特征向量进行聚类；

获取聚类结果中新增商品类型的类型标注信息；

将新增商品类型及其对应的商品单图的特征向量存入已识别商品特征向量库。

4.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述目标检测模型采用FasterRCNN目标检测算法，所述目标检测模型的训练过程包括：

获取各种场景下商品的图像作为图像集合；

将图像集合中出现的各种商品进行标注并为每种商品标注为唯一的一种标签，将标注好的图像集作为训练集，利用训练集训练目标检测模型，得到训练好的目标检测模型。

5.根据权利要求1所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法包括：

获取已识别商品的商品单图和商品类型标签，通过深度神经网络提取已识别商品的商品单图的特征向量，并为已识别商品的商品单图的特征向量标记对应的商品类型标签；

将已识别商品的图像和商品类型标签存入已识别商品特征向量库。

6.根据权利要求5所述的图像集中自动识别商品的方法，其特征在于，所述已识别商品特征向量库的构建方法还包括：

获取未识别商品的图像，通过目标检测模型提取未识别商品的商品单图并利用深度神经网络提取对应商品单图的图像的特征向量；

将所述未识别商品的图像的特征向量存入未识别商品特征向量库；

对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索，获取到未识别商品特征向量库中所有距离小于距离阈值的特征向量组合，将各特征向量组合中的特征向量定义为一类；

获取各类特征向量所对应的未识别商品图像的人工判定信息，其中，对应新增类型商品的人工判定信息包括新增类型商品的商品类型标注信息；

根据人工判定信息，对于新增类型的商品，将对应商品的特征向量以及对应的商品类型存至已识别商品特征向量库；

如果人工判定该类未识别商品是已识别商品则将该未识别商品的特征向量标记为对应的商品类型标签并转移到已识别商品特征向量库。

7.根据权利要求6所述的图像集中自动识别商品的方法，其特征在于，对所述未识别商品特征向量库根据特征向量间距离进行聚类搜索的方法包括：任选一个特征向量，搜索跟此特征向量距离小于距离阈值的所有特征向量，并对搜索到的特征向量进行递归搜索，获取到所有距离小于距离阈值的特征向量。