[发明专利]一种面向异质人脸图像重识别的多模态排序优化方法

权利要求书

1.一种面向异质人脸图像重识别的多模态排序优化方法，其特征在于，包括：

S1：对两个摄像头下的两种异质人脸图像进行图像翻译，分别得到与两种异质人脸图像对应的模态转换后的人脸图像；

S2：将模态转换前后的人脸图像构成不同类型的查询模态组合，对不同查询模态组合进行正向查询，得到对应的正向查询排序结果和正向查询可信度，正向查询表示将第一种摄像头下的人脸作为查询图像，将第二种摄像头下的人脸作为被查询图像；

S3：对不同查询模态组合进行反向查询，得到对应的反向查询排序结果和反向查询可信度，反向查询表示将第二种摄像头下的人脸作为查询图像，将第一种摄像头下的人脸作为被查询图像；

S4：根据不同查询模态组合的正向查询排序结果、正向查询可信度、反向查询排序结果、反向查询可信度，计算第一种多模态融合相似度距离，以线性融合的方式利用不同模态间人脸图像的互补性；

S5：根据不同查询模态组合的正向查询排序结果、反向查询排序结果，计算第二种多模态融合相似度距离，以非线性融合的方式利用不同模态间人脸图像的互补性；

S6：对第一种、第二种多模态融合相似度距离进行加权融合，得到第三种多模态融合相似度距离；

S7：根据第三种多模态融合相似度距离进行图像重识别，得到最终的人脸查询相似度排序结果，基于最终的人脸查询相似度排序结果得到图像重识别结果。

2.如权利要求1所述的面向异质人脸图像重识别的多模态排序优化方法，其特征在于，步骤S1包括：

S1.1：将两个摄像头下的两种异质人脸数据集划分为训练数据集和以及测试数据集X^A和Y^B，其中X和Y分别表示两个摄像头，A和B则分别表示在两个摄像头下拍摄得到的两种不同图像模态，m是X摄像头下人脸图像x的ID号，M是X摄像头下人脸图像数据集的数量；n是Y摄像头下人脸图像y的ID号，N是Y摄像头下人脸图像数据集的数量；

S1.2：采用训练数据集和对图像翻译网络进行训练；

S1.3：将测试数据集X^A和Y^B输入训练好的图像翻译网络，得到对应的模态转换后的数据集X^B和Y^A，其中

3.如权利要求1所述的面向异质人脸图像重识别的多模态排序优化方法，其特征在于，步骤S2包括：

S2.1：定义正向查询为将X摄像头下的人脸作为查询图像，将Y摄像头下的人脸作为被查询图像，Q∈{1,2,3}表示查询模态组合的类型，对于正向查询而言，Q＝1表示查询图像来自X^A，被查询图像来自Y^B；Q＝2表示查询图像来自X^A，被查询图像来自Y^A；Q＝3表示查询图像来自X^B，被查询图像来自Y^B，当正向查询模态组合类型为Q时，将X摄像头下ID号为m的人脸图像作为查询图像，将Y摄像头下的所有N张人脸图像作为被查询图像；

S2.2：将N+1张人脸图像输入到人脸识别特征提取网络，得到各自对应的人脸特征向量，将1张查询图像的特征向量依次与N张被查询图像的特征向量计算特征相似度距离，得到N个余弦相似度距离，按照相似度从大到小对N个被查询图像进行排序，得到正向查询排序结果：

其中，表示的是Y摄像头下被查询图像在相似度排序中排名第j对应的ID号，j∈{1,2,3,...,N}；

S2.3：将得到的正向查询排序结果Rank(Q,m)中排序前k个图像，定义为正向查询top-k近邻，表示为其中k为可调节参数，k的取值范围是1到MIN(M，N)，基于正向查询top-k近邻，得到正向查询双向top-k近邻：

其中，R(Q,m,k)表示正向查询双向top-k近邻，代表将正向查询top-k近邻对应序号的图像作为新的查询图像，在所有的查询数据集图像的相似度排名中前k的序号；

S2.4：基于正向查询双向top-k近邻R(Q,m,k)，得到正向查询可信度：

其中，W(Q,m,k)表示正向查询可信度，|R(Q,m,k)|表示正向查询双向top-k近邻R(Q,m,k)的图像数量。