[发明专利]一种基于参数共享的多尺度超分重建的小目标检测方法

权利要求书

1.一种基于参数共享的多尺度超分重建的小目标检测方法，其特征在于，包括以下步骤：

(1)将现有的超分数据集和小目标检测数据集分别在超分网络和小目标检测网络上进行初步训练，直至损失函数收敛；

(2)构建基于参数共享的Skip-Connection多尺度特征重建网络结构，来提取多尺度特征和对重建的多尺度特征分别进行目标检测；

(3)采用基于马尔可夫决策的多任务深度网络对超分和小目标检测任务进行动态协同训练，最终得到小目标检测的训练模型；

步骤(2)所述的构建基于参数共享的Skip-Connection多尺度特征重建网络结构，来提取多尺度特征和对重建的多尺度特征分别进行目标检测，具体实现步骤为：

1)在用于多尺度特征融合的top-down and bottom-up目标检测网络结构基础上，添加基于Skip-Connection的密集卷积块，构建适应目标检测与图像超分辨率的多尺度特征重建的参数共享结构；按照反卷积层上采样操作，多尺度特征重建结构输出特征分为3种尺度，针对每一尺度特征，分别进行目标检测，其中第一种尺度上直接划分网格进行位置回归与目标分类；针对第二与第三种尺度特征，则先采用RPN生成候选框，再逐候选框进行位置回归与目标分类；针对三个尺度上的预测结果，采用非极大值抑制策略进行融合，为重建第二与第三尺度特征，在Deconv上采样层之后串接超分辨率重建网络分支，输出重建图像；

2)以未添加Skip-Connection结构的目标检测网络作为基线模型，在基线模型上逐步添加Skip-Connection得到待验证网络模型，在目标检测数据集上训练测试，通过比较目标检测结果，验证基于Skip-Connection的多尺度特征重建结构的性能；

3)重新定义检测网络的位置回归损失函数L^reg，在初始训练阶段，相对于平方误差函数，Huber函数通过压缩因子σ与放缩节点δ减小损失值，定义基于Huber函数的精定位回归损失函数为：

其中，

长X_img、宽Y_img的图像均匀的划分为M×N个网格，以中心点坐标(X_m,n,l,Y_m,n,l)的网格构造L个长W_m,n,l、宽H_m,n,l的候选框；中心点坐标为(X_m,n,l,Y_m,n,l)的网格内存在的长宽目标标注框，记其中心点相对网格的坐标为由定义可知，λ_cx与λ_cy能根据原始目标标注框相对候选框中心的位置偏移调整中心位置偏移损失值，从而使小尺度目标的误差损失值对中心位置偏移更敏感；候选框的绝对误差不受候选框尺度大小的约束；在0.2≤σ≤0.7与1≤δ≤3范围内调整压缩因子与放缩节点，以获取对小目标检测误差最为敏感的基于Huber函数的损失函数；

步骤(3)所述的采用基于马尔可夫决策的多任务深度网络对超分和小目标检测任务进行动态协同训练，最终得到小目标检测的训练模型，具体实现步骤为：

1)多任务网络分支的动态训练过程建模为马尔可夫决策过程：记S为训练环境中的所有状态的集合，s_t∈S表示当前t时刻所处训练状态，s_t＝(P₁,P₂)，P_i∈[0,1]表示当前t时刻各网络分支N_i的所处训练状态的概率分布；记A为训练时动态选择动作的集合，a_t∈A表示当前t时刻采取的动作，a_t＝(N₁,N₂)，N_i＝I(P_i)表示选择更新网络分支的参数，动作空间中除训练终止状态外共有3种动作；三个网络分支的参数分别记作θ_sr、θ_od；记f:S×A×S→[0,1]为状态转移概率分布函数，s_t+1～f(s_t,a_t)表示训练过程中在状态s_t执行动作a_t后转移至下一状态s_t+1的概率；记ρ(s,a)为奖励函数，r_t＝ρ(s_t,a_t)表示训练过程中当前t时刻在状态s_t执行动作a_t获得的奖励值；为从①小尺度目标的检测精度、②目标定位精度、③类别预测精度三个方面评估小目标检测的效果，目标检测网络分支t时刻训练的奖励值r_t具体定义为：

r_t＝E_D(μ_s·r_t^s+μ_l·r_t^l+μ_c·r_t^c) (1)

其中，E_D表示数据集的当前轮次的训练过程，r_t是多任务深度网络在数据集D上第t轮训练所取得的奖励值的期望；μ_s，μ_l，μ_c为平衡参数，r_t^s，r_t^l，r_t^c分别表示从三个不同方面评价小目标检测效果的立即奖励值，定义如下：

其中，IoU_i表示图像中第i个目标的预测框与标注框的交并区域的大小，IoU_i^t表示t时刻的IoU_i值，IoU_i^(t)表示自开始训练至t时刻所取得的最大IoU_i值，IoU_i^max表示所有IoU_i的最大值；r_t^s反映预测框尺度最小值为σ的小目标检测精度；r_t^l表示t时刻与t-1时刻在目标检测IoU定位精度上的奖励值；r_t^c表示t时刻与t-1时刻在目标检测类别预测精度τ上的奖励值；η_l，η_c表示极端惩罚值；因此，求解多任务深度网络训练的最优路径，即训练过程中各任务网络分支的最优训练次序的问题转化为如下最优化问题：

其中表示从t时刻至训练过程结束时刻T的累积奖励，γ∈[0,1]表示未来奖励对累积奖励的折扣因子；π为从状态空间S到动作空间A的一个映射，即多任务深度网络从状态s_t执行动作a_t后转移至下一状态s_t+1的训练策略序列；

2)为求解最优策略构建Deep Q-learning Network网络来估计Q值，状态值流s与动作值流a交叉合并联结，经卷积层提取特征，再经全连接层构成的神经网络预测出Q值，当输入多任务深度网络训练所处的状态s，通过Q值预测网络遍历动作空间，选择最大Q值所对应的动作来动态训练多任务深度网络，采用记忆回放机制随机采样预先存储至记忆单元中的状态转移样本，用以训练Q值预测网络，具体训练流程如下：

①将当前时刻t的状态动作流(s_t,a_t)输入到Q值预测网络预测出Q值；

②根据随机采样的t-i时刻状态转移样本e_t-i＝(s_t-i,a_t-i,r_t-i,s_t-i+1)，将当前时刻多任务深度网络转移后的训练状态s_t+1输入t-i时刻的Q值预测网络模型，遍历动作空间以计算出最大Q值V_t-i＝maxQ_t-i(s_t+1,a)；

③根据贝尔曼最优方程，定义DQN误差函数为：

ΔQ(s_t,a_t)＝r_t+γV_t-i(s_t+1)-Q_t(s_t,a_t) (6)

通过反向传播和梯度算法更新Q值预测网络参数，参数更新后的Q值预测网络通过遍历动作空间计算出当前状态s_t+1下Q值最大的动作a_t+1；

④多任务深度网络则选择a_t+1动作在数据集D上完成一轮训练后，转移至下一状态s_t+2，并给出奖励r_t+1，将t+1时刻的状态转移样本e_t+1＝(s_t+1,a_t+1,r_t+1,s_t+2)保存至记忆回放单元，供随机采样以训练Q值预测网络，并在e_t+1＝(s_t+1,a_t+1,r_t+1,s_t+2)基础上执行①。

2.根据权利要求1所述的一种基于参数共享的多尺度超分重建的小目标检测方法，其特征在于，步骤(1)所述的将现有的超分数据集和小目标检测数据集分别在超分网络和小目标检测网络上进行初步训练，直至损失函数收敛，具体如下：

利用现有训练数据集，采用不同任务网络交替训练的策略，初步训练网络模型，首先利用高分辨率图像集单独训练超分辨率任务，然后利用目标检测数据集训练目标检测任务，如此交替反复，直到两任务的损失值收敛到预设值；为减小两任务训练集图像质量不一致造成的误差，采用人工并辅以协作稀疏表示的方法，进一步采集和标注小规模的有目标位置与类别标签的高分辨率图像集，用它来fine-tuning两任务网络模型，具体的训练流程如下：

a)随机初始化两任务网络模型参数：θ₀^sr,θ₀^od＝random()

b)在不同任务训练集上交替训练：

do

while j≥N,or

其中θ^sr,θ^od分别表示超分辨率重建网络参数和目标检测网络参数；L^cls,reg,sr表示目标分类、位置坐标回归、超分辨率重建的联合损失函数；D^od，D^sr分别表示目标检测、超分辨率图像训练数据集，i和j分别表示第i和j个输入数据，N表示总体样本数目，t表示任务的个数；ε表示损失的阈值。