[发明专利]一种面向异质人脸图像重识别的多模态排序优化方法

说明书

本发明公开了一种面向异质人脸图像重识别的多模态排序优化方法，包括：对人脸图像进行模态转换；将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询和反向查询，得到对应的查询排序结果和查询可信度；分别计算第一种多模态融合相似度距离和第二种多模态融合相似度距离；对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；根据第三种多模态融合相似度距离，得到最终的人脸查询相似度排序结果，本发明能够有效利用不同模态间人脸图像的互补性，通过多模态融合相似度距离得到正确人脸排序更靠前的查询排序结果，从而提升异质人脸重识别的准确率。

技术领域

本发明涉及数字图像技术领域，具体涉及一种面向异质人脸图像重识别的多模态排序优化方法。

背景技术

人脸重识别是视频监控领域的前沿研究方向之一，该技术与人脸识别的不同之处在于：视频监控中的人脸识别一般是以某个摄像头拍摄的低质量人脸在一个大规模高质量人脸库中进行查询，目的是确认某个摄像头拍摄的人脸身份，即这个人是谁；人脸重识别则是对以某个摄像头拍摄的低质量人脸在另一个摄像头拍摄的低质量人脸集中进行查询，目的是确认不同摄像头拍摄的人脸之间的身份关系，即一个摄像头下的某个人跟另一个摄像头下的某个人是否是同一个人，但这个人是谁并不清楚。随着监控设备类型日益多元化，不同摄像头拍摄的人脸可能是异质的，比如可见光人脸和红外人脸，导致异质人脸重识别的准确度显著下降。因此如何提升异质人脸重识别的准确度，成为视频监控领域一个需要解决的新问题。

发明内容

为了解决现有技术中异质人脸重识别的准确度不高的问题，本发明提供了一种面向异质人脸重识别的多模态排序优化方法，其目的是对被查询人脸集的排序进行优化调整，使正确人脸的排序更靠前，从而提升异质人脸重识别的准确度。

本发明的上述技术问题主要是通过下述技术方案得以解决的：

公开了一种面向异质人脸图像重识别的多模态排序优化方法，包括：

S1：对两个摄像头下的两种异质人脸图像进行图像翻译，分别得到与两种异质人脸图像对应的模态转换后的人脸图像；

S2：将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询，得到对应的正向查询排序结果和正向查询可信度，正向查询表示将第一种摄像头下的人脸作为查询图像，将第二种摄像头下的人脸作为被查询图像；

S3：对不同查询模态组合进行反向查询，得到对应的反向查询排序结果和反向查询可信度，反向查询表示将第二种摄像头下的人脸作为查询图像，将第一种摄像头下的人脸作为被查询图像；

S4：根据不同查询模态组合的正向查询排序结果、正向查询可信度、反向查询排序结果、反向查询可信度，计算第一种多模态融合相似度距离，以线性融合的方式利用不同模态间人脸图像的互补性；

S5：根据不同查询模态组合的正向查询排序结果、反向查询排序结果，计算第二种多模态融合相似度距离，以非线性融合的方式利用不同模态间人脸图像的互补性；

S6：对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；

S7：根据第三种多模态融合相似度距离进行图像重识别，得到最终的人脸查询相似度排序结果，基于最终的人脸查询相似度排序结果得到图像重识别结果。

在一种实施方式中，步骤S1包括：

S1.1：将两个摄像头下的两种异质人脸数据集划分为训练数据集和以及测试数据集X^A和Y^B，其中X和Y分别表示两个摄像头，A和B则分别表示在两个摄像头下拍摄得到的两种不同图像模态，m是X摄像头下人脸图像x的ID号，M是X摄像头下人脸图像数据集的数量；n是Y摄像头下人脸图像y的ID号，N是Y摄像头下人脸图像数据集的数量；