[发明专利]跨模态隐私语义检索方法、系统及存储介质

说明书

本发明公开了一种跨模态隐私语义检索方法、系统及存储介质，涉及数据处理技术领域，方法包括：客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，对语义表征向量进行加密获得密态语义表征向量；服务器接收客户端发送的密态语义表征向量，根据预设检索索引表，确定与密态语义表征向量关联的语义检索关键词，在预设检索索引表中查找与语义检索关键词对应的数据地址，获得密态语义检索结果，并将密态语义检索结果发送至客户端；客户端对密态语义检索结果进行解密和显示。本发明解决了现有技术存在检索准确性较低的问题，实现了在保障查询隐私和存储数据隐私的前提下，提升语义检索结果的准确性的效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨模态隐私语义检索方法、系统及存储介质。

背景技术

随着互联网技术的发展和大数据云服务技术的普及，在数据共享服务中，查询检索是用户访问云端数据获取信息的必不可少的操作，但是在查询过程中，用户的查询请求和存储在云端的数据均为明文形式，失去了对数据的掌控能力，因此，在数据搜索场景中，大数据共享和隐私保护的矛盾较为明显。

另外，随着互联网技术的进步和人们生产生活方式的改变，由于数据模态的多样性，多模态数据之间的检索需求也逐渐凸显。跨模态检索技术是通过寻找不同模态样本之间的语义关系，实现利用某一种模态数据，搜索近似语义的其他模态数据的技术。

现有方案中，可以对明文数据进行跨模态检索，也可以对隐私数据进行对应模态检索，但对隐私数据进行跨模态检索的方案较少。针对隐私数据进行跨模态语义检索的方法存在提取到的关键词与搜索内容无语义关联，搜索结果可能存在偏差的问题，导致跨模态隐私语义检索的准确性较低。

发明内容

本发明的主要目的在于：提供一种跨模态隐私语义检索方法、系统及存储介质，旨在解决现有技术对多模态隐私数据进行检索的方法存在准确性较低的技术问题。

为实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供了一种跨模态隐私语义检索方法，应用于服务器，所述方法包括：

接收客户端发送的密态语义表征向量；其中，所述密态语义表征向量通过所述客户端基于多模态联合表征模型对多模态数据进行语义特征提取得到语义表征向量，对所述语义表征向量进行加密获得；

根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词；其中，所述预设检索索引表包括语义检索关键词与已存储数据的数据地址的映射关系；

在所述预设检索索引表中查找与所述语义检索关键词对应的数据地址，获得密态语义检索结果，并将所述密态语义检索结果发送至所述客户端，以使所述客户端对所述密态语义检索结果进行解密和显示。

可选地，上述跨模态隐私语义检索方法中，所述根据预设检索索引表，确定与所述密态语义表征向量关联的语义检索关键词的步骤包括：

根据预设检索索引表，确定所述密态语义表征向量与所述预设检索索引表中所有检索关键词之间的关联度值；

根据所述关联度值，确定与所述密态语义表征向量关联的语义检索关键词；其中，所述语义检索关键词包括根据所述关联度值进行排序的检索关键词。

可选地，上述跨模态隐私语义检索方法中，所述接收客户端发送的密态语义表征向量的步骤之前，所述方法还包括：

接收所述客户端发送的待存储密态数据和对应的密态关键词；其中，所述待存储密态数据通过所述客户端对待存储数据进行加密获得，所述密态关键词通过所述客户端基于多模态联合表征模型对所述待存储数据进行语义特征提取得到关键词，对所述关键词进行加密获得；

存储所述待存储密态数据，获得已存储数据及其数据地址；