[发明专利]一种多模态信源联合编码方法

说明书

一种多模态信源联合编码方法，先将多个模态信源经过相应第一编码器提取特征去除每个模态信号内部冗余，得到对应的特征图；然后将多组特征图连接起来输入第二编码器，解耦为共性特征图和个性特征图；共性特征图表示不同模态信源之间的共同部分，个性特征图表示每个模态信源所独有的特征；最后将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模态信源，即分别经过熵编码，转换为二进制码流进行存储或者传输；在解码端二进制码流进行熵解码后分别经过相应的解码器恢复得到相应的模态信源；本发明利用不同信源之间的相关性，减少相关信息的重复传输降低传输带宽，降低存储空间；解码端恢复出不同模态信源，具有模态可伸缩性。

技术领域

本发明涉及信源编码技术领域，具体涉及一种多模态信源联合编码方法。

背景技术

信源编码作为一种基础技术，被广泛应用于各个领域。信源编码是信息时代多媒体技术和互联网技术结合的产物，旨在允许一定失真或者不允许失真前提下，用最少的比特表示信源。高效率的信源编码技术可以在有限带宽下大大提升解码后的信源质量，降低存储空间。例如，根据输入的不同目前有文本压缩、图像压缩(如PNG，BMP，JPEG，BPG，WEBP等压缩标准)、视频压缩(如H.264/AVC， H.265/HEVC，H.266/VVC，VP9，AV1，AVS1，AVS2，AVS3等)、音频编码(如AAC等)等等，这些标准有一个共同的特点，只针对单一种类的输入，例如文本压缩只针对文本输入，图像压缩只针对图像，视频压缩针对图像或者视频，音频编码只针对音频输入，无法对其他形式的进行处理，即便处理也需要经过前处理，而且效率低下。例如，视频压缩编码标准无法直观对文本进行压缩，尽管可以通过预处理将文本组织成视频形式，但是其内容与正常的视频差异大，无实际物理意义，视频编解码标准中的技术并不针对这种非正常信号设计，因此即便强制编码也会效率低下。

实际中，经常综合几种模态的数据一起进行某种表达，例如，电视剧电影等最常见的模态包含视频、音频和字幕三种模态，按照以上标准，目前的方案几乎都是对三种模态分别编码，但是实际上该三种模态信号之间存在关联，即存在一定程度的冗余，而现有的独立编码方法无法消除此类冗余，因此是对带宽或者存储空间的一种浪费。因此需要一种能够对多种模态的信号进行联合编码的方法，以去除不同模态信号之间的相关性，降低冗余，从而达到减少带宽和节省存储空间的目的。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供了一种多模态信源联合编码方法，通过在编码压缩过程中利用不同信源之间的相关性，减少相关信息的重复传输从而降低传输带宽，降低存储空间；解码端根据需要恢复出不同模态信源，即具有模态可伸缩性。

为了达到上述目的，本发明采取的技术方案为：

一种多模态信源联合编码方法，包括以下步骤：

1)将多个模态信源经过相应第一编码器以提取特征去除每个模态信号内部冗余，得到对应的特征图；

2)为了去除不同模态信号之间的相关性，将多组特征图连接起来输入第二编码器，解耦为共性特征图和个性特征图；共性特征图表示不同模态信源之间的共同部分，个性特征图表示每个模态信源所独有的特征；

3)将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模态信源，即分别经过熵编码，转换为二进制码流进行存储或者传输；在解码端二进制码流进行熵解码后分别经过相应的解码器恢复得到相应的模态信源。

引入了知识库，对多模态信源进行联合编码；知识库是多模态或单模态，多模态知识库是指知识库中存储包含多种不同形式来自不同模态信源的信息；单个或多个模态信源经过“模态解析”获得检索知识库的索引，“模态解析”为了获取知识库节点实体以进行查询和推理。

所述的多模态知识库一种表现形式中有文本和图像，以节点和边表示，每个节点表示一个实体或者表示文本或者表示图像，每条边表示不同节点之间的关系。