[发明专利]一种多语义深度监督跨模态哈希检索方法在审
| 申请号： | 201911065035.2 | 申请日： | 2019-11-04 |
| 公开（公告）号： | CN110765281A | 公开（公告）日： | 2020-02-07 |
| 发明（设计）人： | 张雨柔;李锐;于治楼 | 申请（专利权）人： | 山东浪潮人工智能研究院有限公司 |
| 主分类号： | G06F16/432 | 分类号： | G06F16/432;G06F16/41;G06F16/901 |
| 代理公司： | 37100 济南信达专利事务所有限公司 | 代理人： | 郗艳荣 |
| 地址： | 250100 山东省济南市高新*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明特别涉及一种多语义深度监督跨模态哈希检索方法。该多语义深度监督跨模态哈希检索方法，利用深度神经网络，结合训练数据的监督语义信息，分别学习多个模态的哈希映射模型；将给定特定模态的图像查询数据送入到对应模态的神经网络中，通过深度网络所学习的哈希映射将图像模态数据转换为哈希码，然后与数据库中另一模态的哈希码进行距离的计算，最终返回与查询最相似的数据。该多语义深度监督跨模态哈希检索方法，充分利用了多种高层语义信息，保持了数据模态间的相似性关系及模态内的标签语义信息，不仅可以获取高质量的哈希码，还将哈希学习和分类任务结合在同一个流中进行学习，提高了学习效率，进而实现了不同模态数据之间的信息检索。 | ||
| 搜索关键词： | 模态 哈希 语义 哈希码 检索 哈希映射 神经网络 语义信息 监督 学习 高层语义信息 相似性关系 结合训练 模态数据 数据模态 数据转换 图像查询 图像模态 信息检索 学习效率 送入 数据库 标签 查询 返回 分类 网络 | ||
【主权项】：
1.一种多语义深度监督跨模态哈希检索方法，其特征在于：利用深度神经网络，结合训练数据的监督语义信息，即数据标签和数据之间的相似性矩阵，分别学习多个模态的哈希映射模型；对于数据库中的多个模态的数据，当给定特定模态的图像查询数据时，将其送入到对应模态的神经网络中，通过深度网络所学习的哈希映射将该图像模态数据转换为哈希码，然后与数据库中另一模态的哈希码进行距离的计算，最终返回与查询数据最相似的数据即可作为跨模态检索结果。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东浪潮人工智能研究院有限公司，未经山东浪潮人工智能研究院有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911065035.2/，转载请声明来源钻瓜专利网。
- 上一篇：地址识别方法和装置
- 下一篇：一种曲目推荐方法和装置
- 同类专利
- 一种多语义深度监督跨模态哈希检索方法-201911065035.2
- 张雨柔;李锐;于治楼 - 山东浪潮人工智能研究院有限公司
- 2019-11-04 - 2020-02-07 - G06F16/432
- 本发明特别涉及一种多语义深度监督跨模态哈希检索方法。该多语义深度监督跨模态哈希检索方法，利用深度神经网络，结合训练数据的监督语义信息，分别学习多个模态的哈希映射模型；将给定特定模态的图像查询数据送入到对应模态的神经网络中，通过深度网络所学习的哈希映射将图像模态数据转换为哈希码，然后与数据库中另一模态的哈希码进行距离的计算，最终返回与查询最相似的数据。该多语义深度监督跨模态哈希检索方法，充分利用了多种高层语义信息，保持了数据模态间的相似性关系及模态内的标签语义信息，不仅可以获取高质量的哈希码，还将哈希学习和分类任务结合在同一个流中进行学习，提高了学习效率，进而实现了不同模态数据之间的信息检索。
- 一种获得视频的方法、装置及播放视频的方法、装置-201610547322.7
- 卢峰 - 联想(北京)有限公司
- 2012-02-02 - 2020-01-31 - G06F16/432
- 本发明提供一种获得视频的方法、装置及播放视频的方法、装置，用于对M个视频进行处理，获得与一主题相关的视频，其中，所述M为大于等于1的整数，其中，获得视频的方法包括：获得所述M个视频；判断所述M个视频中是否有N个视频与所述主题相关，其中，所述N为小于等于所述M且大于0的整数；在有所述N个视频与所述主题相关时，收集所述N个视频。
- 语音添加、播放方法及装置、图片分类、检索方法及装置-201510104464.1
- 党茂昌 - 阿里巴巴集团控股有限公司
- 2015-03-10 - 2020-01-31 - G06F16/432
- 本申请公开了一种语音添加方法，包括：显示图片；确定所述图片中的待添加对象；接收语音信息；创建所述语音信息与所述待添加对象的映射关系。本申请实施例通过为图片中不同对象添加不同的语音信息，以实现准确反映图片的内容。
- 用于管理多媒体内容中的加载时间的数据结构查询-201780092060.2
- 梁健威 - 谷歌有限责任公司
- 2017-10-03 - 2020-01-31 - G06F16/432
- 提供了用于管理多媒体内容的加载时间的系统和方法数据结构查询。一种系统从计算装置接收输入音频信号并且识别请求。所述系统识别量化日期值和量化时间值。所述系统经由在具有所述量化日期值和量化时间值的多维矩阵数据结构中进行查找来针对所述量化日期值和所述量化时间值检索信号。所述系统用所述信号生成查询，并且将所述查询应用于多媒体内容数据结构以识别与所述多个信号相匹配的多个多媒体内容项。所述系统提供对所述多个多媒体内容项的指示，所述多个多媒体内容项与从所述多维矩阵数据结构检索到的、针对所述量化日期值和所述量化时间值的所述信号相匹配。
- 基于歌曲的图片显示方法、装置、终端以及存储介质-201910987233.8
- 段小磊 - 广州酷狗计算机科技有限公司
- 2019-10-17 - 2020-01-21 - G06F16/432
- 本公开提供了一种基于歌曲的图片显示方法、装置、终端以及存储介质，属于计算机技术领域。方法包括：接收目标歌曲的播放指令；获取目标歌曲对应的图片集，图片集中包括与目标歌曲的歌词文本匹配的图片；获取图片集中图片的显示方式信息，显示方式信息根据目标歌曲的节拍信息确定；基于显示方式信息，在目标歌曲的播放过程中，显示图片集中图片。本发明通过目标歌曲获取图片集，基于节拍信息确定目标歌曲的显示方式，基于显示方式，在播放目标歌曲的过程中显示图片。可以将图片以符合目标歌曲节拍信息的方式显示出来，从视觉上反应歌曲的节拍特性。让用户不仅能通过听力感知歌曲，还能通过视觉感知歌曲。
- 资源信息搜索方法、装置、终端设备及存储介质-201910812402.4
- 朱博爱 - 维沃移动通信有限公司
- 2019-08-30 - 2020-01-14 - G06F16/432
- 本发明实施例公开了一种资源信息搜索方法、装置、终端设备及存储介质，该方法可以包括：获取待搜索资源信息的关键字信息，并在第一应用程序的界面中显示关键字信息和关联应用程序切换图标；接收对关联应用程序切换图标的预设操作；响应于预设操作，在与第一应用程序具有关联关系的第二应用程序中显示与关键字信息对应的至少一个资源信息。以解决相关技术中资源信息搜索效率低下，和在资源信息搜索的过程中用户体验感较低的问题。
- 多媒体内容整合方法、系统及介质-201810621235.0
- 陈裕美;沈冠廷;胡婷婷;蔡洪睿 - 连株式会社
- 2018-06-15 - 2020-01-10 - G06F16/432
- 本发明公开一种多媒体内容整合方法，包括以下步骤。首先，取得来自第一用户端且关联于可记录主体的第一多媒体内容。然后，获取关联于所述可记录主体的第二多媒体内容。然后，根据第一多媒体内容及第二多媒体内容产生用于描述可记录主体的第一整合内容。本发明还公开另外多种多媒体内容整合方法、能够整合多媒体内容的多媒体内容整合系统及暂时性计算机可读取介质。
- 多媒体资源搜索方法、装置、存储介质及设备-201811116140.X
- 卢鹏飞 - 腾讯科技(深圳)有限公司
- 2018-09-25 - 2020-01-10 - G06F16/432
- 本发明公开了一种多媒体资源搜索方法、装置、存储介质及设备，属于互联网技术领域。方法包括：获取输入的图像文件；对图像文件进行人脸检测，得到至少一个人脸区域；在至少一个人脸区域上进行人脸特征提取，得到图像文件的人脸特征，人脸特征用于描述人脸的面部器官特征；在至少一个人脸区域上进行面部表情特征提取，得到图像文件的面部表情特征，面部表情特征用于描述人脸的情绪状态；基于图像文件的人脸特征和面部表情特征，在多媒体资源池中搜索与图像文件匹配的目标多媒体资源。由于人脸特征和面部表情特征通常不会受更换背景或修改图像文件尺寸等因素影响，不会出现特征大量丢失的情况，因此该种搜索方式的搜索效果较佳。
- 一种图数据处理方法、装置和系统-201510419390.0
- 葛朋旭 - 阿里巴巴集团控股有限公司
- 2015-07-16 - 2020-01-07 - G06F16/432
- 本申请提供了一种图数据处理方法、装置和系统，该方法，包括：根据待处理请求的类型，将待处理请求写入图更新任务队列或图分析任务队列，待处理的请求的类型包括图更新请求和图分析请求；根据图更新任务队列和图分析任务队列中各任务的第一特性确定各任务的运行顺序；根据运行顺序运行各任务。采用本申请的方案能够分别接收图更新请求和图分析请求，将他们放入图更新任务队列和图分析任务队列，并将各个任务进行管理，为其确定运行顺序，从而能够利用一套系统兼容图更新和图分析处理，解决了目前图更新和图分析处理应用场景分离的情况。
- 一种图像管理方法及电子设备-201910937064.7
- 王俊方 - 维沃移动通信有限公司
- 2019-09-29 - 2020-01-03 - G06F16/432
- 本发明实施例提供了一种图像管理方法及电子设备，涉及通信技术领域，以解决照片管理方法的形式单一，局限性较强的问题。其中，所述图像管理方法，包括：接收对目标图像的语音输入；响应于所述语音输入，在所述目标图像的属性信息中添加与所述语音输入对应的目标语音信息；根据所述目标语音信息，对所述目标图像进行管理。本发明实施例中的图像管理方法应用于电子设备中。
- 智能酒柜及酒款产区相关服务的处理方法-201910440914.2
- 罗郁中;许瓈元;王怡文;陈凯逸 - 仁宝电脑工业股份有限公司
- 2019-05-24 - 2019-12-03 - G06F16/432
- 本发明提供一种智能酒柜及酒款产区相关服务的处理方法。在处理方法中。取得酒瓶对应的产地信息。产地信息相关于生产酒瓶的内容物的所在地。接收用户指令。此用户指令是针对酒瓶。依据用户指令及产地信息输出产地延伸信息。此产地延伸信息为依据产地信息检索的额外信息。例如，产地延伸信息相关于以产地信息对应语言读出酒瓶的酒款名称的音频数据、及收藏数量搭配地图呈现的显示画面。藉此，用户可学习地道地读出酒款名称，并能清楚得知生产收藏酒款的地理位置。
- 音频处理方法和装置、电子设备、计算机可读存储介质-201910750703.9
- 张洲川 - OPPO(重庆)智能科技有限公司
- 2019-08-14 - 2019-11-22 - G06F16/432
- 本申请涉及一种音频处理方法和装置、电子设备、计算机可读存储介质。该方法包括：获取第一时间段内的第一环境音频，以及第一时间段内的第一多媒体音频；获取第一环境音频对应的第一环境音频参数，环境音频参数包括环境音频频率参数；获取第一多媒体音频对应的第一多媒体音频参数，多媒体音频参数包括多媒体音频频率参数；根据第一环境音频参数以及第一多媒体音频参数调整第二时间段内的第二多媒体音频对应的第二多媒体音频参数，其中，第二时间段为第一时间段的后向时间段。采用本申请的方法能够提高多媒体音频的播放质量。
- 专利分类
