[发明专利]一种基于超混沌伪随机序列的加密域跨模态信息检索方法

说明书

本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。

技术领域

本发明涉及信息安全以及加密域检索的技术领域，尤其涉及一种基于超混沌伪随机序列的加密域跨模态信息检索方法。

背景技术

随着信息社会的不断发展，一方面，深度学习、人工智能等方法不断地兴起，诞生出图像、音频、时频、文本等多模态数据，另一方面，信息安全问题也受到人们的广泛关注，一个国家的综合实力不仅体现在国民生产总值上，更体现在对信息安全的保护上，与此同时，人们已从单模态之间的检索转向跨模态检索，那么，如何克服不同模态之间的语义鸿沟问题，也是一大挑战，比如智能机器人在进行人机交互过程中会同时采集到图像、音频以及触觉信号数据；不过现有的加密域下的检索方法无法直接对密文信息进行检索，或者检索的准确率较低，更无实现加密域下的跨模态检索；因此，需要设计一种合理的加密域下的跨模态信息检索方法，一方面用于保护数据安全，另一方面用来解决多种模态的检索问题。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

因此，本发明解决的技术问题是：现有的加密域下的检索方法无法直接对密文信息进行检索，或者检索的准确率较低，更无实现加密域下的跨模态检索。

为解决上述技术问题，本发明提供如下技术方案：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到所述三种模态的密文信息；利用预训练好的VGG16网络对所述三种模态的密文信息进行特征提取，并将所述三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。

作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：预处理所述图像、音频、触觉信号三种模态包括，将所述图像的分辨率调整为M×M×3；所述音频经过预加重、分帧、加窗、计算功率谱、滤波器组得到音频的时频图，并将分辨率调整为M×M×3；所述触觉信号经过预加重、分帧、加窗、计算功率谱、滤波器组得到触觉信号的时频图，并将分辨率调整为M×M×3。

作为本发明所述的基于超混沌伪随机序列的加密域跨模态信息检索方法的一种优选方案，其中：将所述预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中进行加密过程包括，三种模态预处理后得到的M×M×3图像都包括R、G、B三个通道分类，每个通道是大小为M×M的矩阵，对每个通道分别进行加密，将M×M的矩阵记为I；四维超混沌Chen系统：

其中，表示状态变量，x、y、z、w表示系统变量，a、b、c、d、e表示系统的控制参数，当a＝35、b＝3、c＝12、d＝7、e＝0.58时，系统处于超混沌状态；设置起始时间点TIME_START、终止时间点TIME_FINAL以及步长STEP，并设置系统的四个初值[x0 y0 z0w0]，即为加密系统的密钥，并利用Runge-Kutta方法对超混沌Chen系统进行求解，得到最终的四维超混沌伪随机序列lm；其加密过程包括位置置乱、像素值置换。