[发明专利]一种基于transformer的孪生网络目标搜索系统

权利要求书

1.一种基于transformer的孪生网络目标搜索系统，其特征在于，包括以下步骤：

(1)采集图像数据，作为待搜索图；并在部分待搜索图中提取出感兴趣目标，作为查询图，设计孪生网络目标搜索训练模型；

(1.1)采集n张搜索图记为I₁,I₂,…,I_n，每张搜索图默认大小为224*224，n张搜索图中目标个数分别为m_b,b∈(1,2,…,n)切割出查询图为将每张查询图由原尺寸放缩到大小为56*56，记为然后对每张查询图进行人工分类，把同一个目标的查询图分为一类，假设可以将查询图分为count类，记为cnt₁,cnt₂,…,cn_count，对应count个文件夹将每张查询图放入对应类的文件夹中，然后建立一个字典dict，key值对应为每一张搜索图，记为dict[I_i],dict[I₂],…,dict[I_n]，dict中的每个key值对应的value为当前搜索图中存在所有目标的类名；

(1.2)设计孪生网络目标搜索模型，模型特征提取主干分为vit1、vit2，vit1用来提取搜索图的特征；然后选择16张查询图，选择规则为：查询当前搜索图的索引index，从不是当前索引的类别文件夹中随机选择4张查询图，从索引的所有类别文件中共选择12张查询图，其中每个类别文件夹随机选取3张查询图，若可以选择出12张查询图，则将这16张56*56的查询图以随机顺序拼接为一张224*224的图片；vit2用来提取“查询拼接图”中对应一系列查询图的特征，vit1和vit2进行权值共享；

(1.2.1)添加DETR目标检测头，可以从每张待搜索图中检测并框出每一个目标，并且获得每个目标的坐标；

(1.2.2)数据分为n组，每组为(I_u,D_v),u∈{1,2...,n},v∈{1,2...,n}，其中I_u为第u张搜索图，D_v为第v张查询拼接图；I_u通过vit1提取特征Z_u，然后通过DETR目标检测头，得到搜索图中m_b个目标的特征向量Z′_u1,Z′_u2,...,Z′_um，将m个目标的特征向量放缩到56*56*384的特征维度，对应特征向量为Z_u1,Z_u2,...,Z_um，D_v通过vit2提取特征Z_v，由于D_v是由16张56*56大小的查询图拼接而成，即可以根据固定的坐标位置提取特征得到对应的16个特征向量Z_v1,Z_v2,...,Z_v16；

(1.2.3)对于搜索图产生的特征向量Z_u1,Z_u2,...,Z_um，查询拼接图产生的特征向量Z_v1,Z_v2,...,Z_v1，两两比较，二者属于同一类别时，定义为正样本，二者不属于同一类别时，定义为负样本，采用余弦距离公式定义损失函数：

dloss₁＝1-cosZ_uδ,Z_vη}  (公式1)；

dloss₂＝1+cosZ_uδ,Z_vη}  (公式2)；

dloss＝dloss₁+ dloss₂                (公式3)；

u∈{1,2,...,n}，v∈{1,2,...,n},δ∈{1,2,...,m},η∈{1,2,...16}；Z_uδ为搜索图u的第δ目标的特征向量；Z_vη为查询拼接图v的第η个特征向量；

当输入网络的为正样本时，采用公式1计算损失，需要使两个特征向量Z_uδ,Z_vη之间的距离越小，导致dloss₁越小，当输入网络的为负样本时，采用公式2计算损失，需要使两个特征向量Z_uδ,Z_vη之间的距离越大，导致dloss₂越小，最终使dloss越小；

(1.3)vit1提取的特征通过DETR目标检测头获得一个obj_loss，DETR目标检测头的作用是预测搜索图中的每个目标的位置，vit1与vit2提取的特征共同获得一个sch_loss，obj_loss与sch_loss通过比例关系进行组合；

(2)进行摄像头区域选择，选择摄像头群组确定搜索区域，输入待搜索目标图片；

(3)搜索任务启动，通过视频取帧的方式从摄像头内等时间间隔地获取场景图片，图片通过模型进行检测，检测出每一个目标，将目标与待搜索图做特征比较，计算目标匹配度，取最大值，若匹配度超过设定阈值，将搜索图片的序号i加入结果队列；

(4)若结果队列有新纪录产生，则将当前检测图片存入后台服务器设置好的静态资源目录下，并将信息存入数据库，前端界面根据需求从数据库筛选显示对应目标的搜索结果信息。