[发明专利]编解码方法、装置、设备及介质

说明书

本公开提供了一种编解码方法、装置、设备及介质，涉及机器视觉的编解码技术领域。编码方法包括：从图像中提取得到第一特征图；根据第一特征图的通道间的重要性，对第一特征图进行加权，得到第二特征图；对第二特征图进行通道降维，得到第三特征图，第三特征图的特征通道数量小于第一特征图的通道数量；基于第三特征图进行量化及编码后，得到编码数据。根据本公开实施例，能够针对从图像中提取得到第一特征图进行特征压缩，并且可以选择降维后的通道数来灵活平衡任务性能与压缩效率。

技术领域

本公开涉及机器视觉的编解码技术领域，尤其涉及一种编解码方法、装置、设备及介质。

背景技术

传统的视频编解码技术面向人类视觉，以均方差、峰值信噪比、结构相似性作为衡量保真度的评价指标来优化编解码算法。在二十余年的发展中，传统视频编解码框架算法已经趋于成熟，并被广泛应用于各种领域(直播，短视频，视频监控等)。

随着深度学习的普及，越来越多的视频图像被机器接收而非人类。然而图像视频的保真度与机器视觉的任务性能之间虽然有一定相关性，却并不完全贴合。所以传统以保真度为评价指标优化的编解码算法并不是机器视觉应用场景下的最优解。图像视频在经过数量庞大的卷积核进行卷积操作后产生的特征层数据量巨大，导致传统的特征编码算法压缩效率不高。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种编解码方法、装置、设备及介质，至少在一定程度上克服由于相关技术中因图像视频在经过数量庞大的卷积核进行卷积操作后产生的特征层数据量巨大所导致的传统的特征编码算法压缩效率不高的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供了一种编码方法，包括：

从图像中提取得到第一特征图；

根据第一特征图的通道间的重要性，对第一特征图进行加权，得到第二特征图；

对第二特征图进行通道降维，得到第三特征图，第三特征图的特征通道数量小于第一特征图的通道数量；

基于第三特征图进行量化及编码后，得到编码数据。

在本公开的一个实施例中，方法还包括：

根据第三特征图的每个位置的重要性，对第三特征图进行加权，得到第四特征图；

对第四特征图进行空间降维，得到第五特征图，第五特征图的高小于第四特征图的高，且第五特征图的宽小于第四特征图的宽；

基于第三特征图进行量化及编码后，发送至解码端，包括：

基于第五特征图进行量化及编码后，发送至解码端。

在本公开的一个实施例中，根据第三特征图的每个位置的重要性，对第三特征图进行加权，得到第四特征图，包括：

将第三特征图中同位置的所有通道求和，并基于Softmax逻辑回归模型来学习每个位置的重要性；

根据学习到的每个位置的重要性，对第三特征图的每个位置进行加权，得到第四特征图。

在本公开的一个实施例中，对第四特征图进行空间降维，得到第五特征图，包括：

通过步长大于1的卷积核来对第四特征图进行空间维度的降维，得到第五特征图。

在本公开的一个实施例中，第二特征图的特征尺度与第一特征图的特征尺度相同；第四特征图的特征尺度与第三特征图的特征尺度相同。