[发明专利]一种基于编码辅助信息的多实例图像分割方法

摘要

本发明公开了一种基于编码辅助信息的多实例图像分割方法，属于图像编码与实例分割技术领域。本发明针对现有多实例图像分割方法只用原始图像进行实例分割所导致的不足，提供一种基于编码辅助信息的多实例图像分割方法。本发明对输入图像通过图像解码算法得到不同大小的亮度和色差宏块，并提取出帧内预测方向信息，从而将得到的编码单元尺度谱和帧内预测方向谱作为编码辅助信息，能够充分利用了图像的信息。本发明将长短期记忆网络用于除文本分类和自然语言处理以外的领域，用长短期记忆网络将尺度谱、方向谱和原始图像融合在一起，从而提高多实例图像分割的准确度。

主权项

1.一种基于编码辅助信息的多实例图像分割方法，其特征在于，包括下列步骤：/n步骤1、设置基于卷积神经网络的分割网络：/n所述分割网络包括特征金字塔网络、提议生成网络、感兴区域提取网络、掩膜预测网络和全连接层；/n其中，特征金字塔网络用于特征提取，并将得到的特征谱分别输入提议生成网络和感兴区域提取网络；/n提议生成网络用于生成边界框提议，并将边界框提议输入感兴区域提取网络；/n感兴区域提取网络，用于提取感兴区域；并将感兴区域分别通过两个全连接层，对其进行分类和边框回归；/n连接感兴区域提取网络的输出的掩膜预测网络的包括两个分支；/n其中，第一个分支包括顺次连接的四个完全相同的卷积层，以及一个反卷积层；所述反卷积层输出M*M*K的特征谱，其中M为预设值，K表示样本的类别数；/n第二分支包括顺次连接的两个卷积层、一个全连接层和变形层；所述全连接层用于得到1*1*M