[发明专利]一种多模态信源联合编码方法

权利要求书

1.一种多模态信源联合编码方法，其特征在于，包括以下步骤：

1)将多个模态信源经过相应第一编码器以提取特征去除每个模态信号内部冗余，得到对应的特征图；

2)为了去除不同模态信号之间的相关性，将多组特征图连接起来输入第二编码器，解耦为共性特征图和个性特征图；共性特征图表示不同模态信源之间的共同部分，个性特征图表示每个模态信源所独有的特征；

3)将多个模态信源的个性特征图和共性特征图经过相应解码器解码并重建相应的模态信源，即分别经过熵编码，转换为二进制码流进行存储或者传输；在解码端二进制码流进行熵解码后分别经过相应的解码器恢复得到相应的模态信源。

2.根据权利要求1所述的方法，其特征在于：引入知识库，对多模态信源进行联合编码；知识库是多模态或单模态，多模态知识库是指知识库中存储包含多种不同形式来自不同模态信源的信息；单个或多个模态信源经过“模态解析”获得检索知识库的索引，“模态解析”为了获取知识库节点实体以进行查询和推理。

3.根据权利要求2所述的方法，其特征在于：所述的多模态知识库一种表现形式中有文本和图像，以节点和边表示，每个节点表示一个实体或者表示文本或者表示图像，每条边表示不同节点之间的关系。