[发明专利]一种基于多任务特征学习的对象表示方法

摘要

本发明公开了一种基于多任务特征学习的对象表示方法。本发明的方法，在终端采用深度神经网络对特征进行提取，减少了传输视频的数据量，加快了传输速度，减少了存储空间占有量；在云端由计算机进行对象的分析和恢复，减少了人力成本的投入，同时提高了事件处理效率；且能够实现多个任务同时进行，联合优化的效果。本发明本发明采用人工智能神经网络方法，通过对原视频图像进行特征提取，减少传输数据量，再通过特征计算，实现智能分析，并且利用转置卷积技术，实现图像的还原，大大提高了事件的处理速度，并节省了资金。

主权项

1.一种基于多任务特征学习的对象表示方法，其特征在于输入为所要分析的视频显著对象，其由终端设备采集并经过处理传入云端，在终端采用深度神经网络对特征进行提取；在云端对对象数据进行复原和分析；具体实现步骤如下：步骤1：将提取好的视频显著性对象分别输入到对象特征提取网络的两个子网络，其中浅层卷积网络有三层，每层都对对象图片进行卷积、批归一化和激活处理；深层残差网络为resnet101网络，深层网络通过卷积、池化、激活的操作对视频显著性对象进行高维度特征提取；步骤2：将步骤1中的深层残差网络中的16倍下采样和32倍下采样后的特征,分别采用空间金字塔池化或上采样的方式进行处理，获得深层特征，再将深层特征与步骤1中的浅层卷积网络进行特征融合，融合过程中，首先将特征进行合并，然后过一个卷积层对融合特征进行特征维度的压缩；步骤3：将压缩后的融合特征进行时空结构化编码，并通过网络从终端设备传输到云端中心数据库中，此步骤在离线训练过程中不参与训练，当网络训练完成后，在实际上线使用过程中，才会正式使用；步骤4：将步骤2中得到的压缩后的融合特征输入自监督转置卷积图像生成网络进行转置卷积处理，直至恢复成原图像大小，终端的特征提取造成恢复后的图像，局部细节特征损失严重，故再次采用原输入视频显著性对象进行自监督学习，实现像素级的图像重建；步骤5：将步骤2中得到的压缩后的融合特征输入视频对象分析网络，在网络中对融合特征进一步进行卷积和全连接处理，使其变为一维特征，再对一维特征通过监督学习的方式进行训练，实现对象分类、目标重识别等任务；步骤6：将前面分别训练好的三个网络再次联合训练，进行优化调参；所述的三个网络包括对象特征提取网络、自监督转置卷积图像生成网络、视频对象分析网络。