[发明专利]一种评价指标的获得方法、装置及电子设备有效

专利信息
申请号: 201710638936.0 申请日: 2017-07-31
公开(公告)号: CN107590176B 公开(公告)日: 2021-01-15
发明(设计)人: 赵晓萌;胡军 申请(专利权)人: 北京奇艺世纪科技有限公司
主分类号: G06F16/43 分类号: G06F16/43
代理公司: 北京柏杉松知识产权代理事务所(普通合伙) 11413 代理人: 马敬;项京
地址: 100080 北京市海淀*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明实施例提供了一种评价指标的获得方法、装置及电子设备,所述方法包括:获得用户点击后播放预设查询词对应每一文件的第一时长;根据所述第一时长、预设的所述第一时长与第一预设阈值的对应关系、以及预设的所述第一预设阈值与相关性值的对应关系,获得所述每一文件的相关性值,其中,所述相关性值为所述每一文件与所述预设查询词的关联程度的量化参数;根据所述相关性值计算所述排序结果的归一化累计折扣信息增益值,并将所述归一化累计折扣信息增益值作为排序结果的评价指标。应用本发明实施例,可以提高文件的相关性的准确性,进而提高了对排序结果评价的准确性。
搜索关键词: 一种 评价 指标 获得 方法 装置 电子设备
【主权项】:
一种评价指标的获得方法,其特征在于,所述方法包括:获得用户点击后播放每一文件的第一时长,其中,所述每一文件为与预设查询词对应的排序结果中的每一文件;根据所述第一时长、所述第一时长与第一预设阈值的预设对应关系、以及所述第一预设阈值与相关性值的预设对应关系,获得所述每一文件的相关性值,其中,所述相关性值为所述每一文件与所述预设查询词的关联程度的量化参数;根据所述相关性值计算所述排序结果的归一化累计折扣信息增益值,并将所述归一化累计折扣信息增益值作为排序结果的评价指标。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710638936.0/,转载请声明来源钻瓜专利网。

同类专利
  • 基于语音识别的内容搜索方法、装置、计算机设备及介质-202310680667.X
  • 黄国辉;陶建伟 - 广州三叠纪元智能科技有限公司
  • 2023-06-08 - 2023-10-24 - G06F16/43
  • 本申请涉及语音识别技术领域,具体公开了一种基于语音识别的内容搜索方法、装置、计算机设备及介质。该方法可在用户允许用户媒体获得接口访问音频采集设备时,获取包含用户语音的媒体流,利用语音服务控制接口对媒体流中的语音进行提取,获得用户语音,基于语音识别接口,调用语音识别服务对语音进行识别,获得用户语音对应的文本信息,进而根据文本信息进行搜索获得用户所需的内容,利用语音识别技术,提高了用户输入效率,进而提高了用户搜索内容的效率。
  • 一种公共安全数据的跨媒体智能感知与分析处理方法-202310767292.0
  • 罗长江;邓川;羊秋苹;齐艳铭 - 四川九洲视讯科技有限责任公司
  • 2023-06-27 - 2023-10-13 - G06F16/43
  • 本发明公开了一种公共安全数据的跨媒体智能感知与分析处理方法,属于公共安全数据技术领域,目的在于提供一种公共安全数据的跨媒体智能感知与分析处理方法,提升跨媒体感知与分析精确率,实现数据的汇聚融合、分层治理,为公共安全细分场景深度应用赋能,解决公共安全行业数字实战过程中存在的现场感知不清、异常预警滞后、联合联动不足、专业工具缺乏等难题。其基于在跨媒体数据统一表征、关联分析、知识迁移等方面的理论,结合智慧公安、智能交通等领域细分场景,探索多种模态数据之间的协同机理,突破单一媒体信息处理的局限,提升了跨媒体贯通、耦合与协同的智能处理能力。本发明适用于一种公共安全数据的跨媒体智能感知与分析处理方法。
  • 一种数据的风险识别方法及系统-201911137197.2
  • 姚亮 - 口碑(上海)信息技术有限公司
  • 2019-11-19 - 2023-10-10 - G06F16/43
  • 公开了一种数据的风险识别方法及系统。一种数据的风险识别方法,该方法包括:任一所述业务子系统在产生待识别数据的情况下,将所述待识别数据保存至所述数据存储服务器;并且,向所述风险识别服务器发送携带所述待识别数据存储位置的风险识别请求;所述风险识别服务器根据所述存储位置,从所述数据存储服务器中获取所述待识别数据;所述风险识别服务器基于统一的预设提取算法,提取所述待识别数据的待识别特征,并且判断预先缓存的若干已识别特征中是否存在所述待识别特征;若是,则根据对已识别特征预先缓存的识别结果,确定所述待识别特征的识别结果;若否,则基于统一的预设识别算法确定所述待识别特征的识别结果。
  • 一种基于电子信息的输入输出方法-202310822674.9
  • 王晓东;叶炉风;强海燕 - 史泰博(陕西)有限公司
  • 2023-07-06 - 2023-09-29 - G06F16/43
  • 本发明公开了一种基于电子信息的输入输出方法,按照以下步骤实施:S1:获取输入信息并确定输入信息的类型,获得预处理信息;S2:根据预处理信息的格式,对预处理信息进行分析处理,获得执行信息;S3:建立数据库,数据库包含各执行信息的触发条件及相应的输出指令;S4:通过数据库对执行信息进行遍历,如执行信息未达到触发条件,重新执行上述步骤;如执行信息达到触发条件,执行相应的输出指令并重新执行上述步骤。其克服了传统的输出输入方法在应对多种输入信息类型、实现复杂的处理与输出指令等方面存在着一定的局限性,难以满足信息处理和输出结果立即反馈的需求,实现了高效、灵活、智能的输入输出过程。
  • 一种双索引实时更新联想词的多媒体资源推荐方法及装置-201911228998.X
  • 赵明;于松;杨梅;袁丽;杨云龙 - 青岛聚看云科技有限公司
  • 2019-12-04 - 2023-09-22 - G06F16/43
  • 本发明涉及互联网技术领域,尤其涉及一种双索引实时更新联想词的多媒体资源推荐方法及装置,用以解决无法实时统计媒资变化情况,导致无法正确更新联想词索引信息,该方法为:响应于智能设备发送的联想词查询请求,在全局索引库中进行搜索,所述全局索引库是基于实时更新的实时索引库中的索引信息所建立的,基于搜索结果,获得与所述联想词查询请求对应的联想词索引信息,进而获取相应的多媒体资源,再将所述多媒体资源发送至所述智能设备。这样,基于实时更新的全局索引库,保证了多媒体资源的实际属性信息和索引库中记录的属性信息的一致性,也保证了智能设备得到的多媒体资源的准确性,提高了处理效率。
  • 生成影集视频的方法、装置、设备及介质-201910783001.0
  • 肖鹏 - 腾讯科技(深圳)有限公司
  • 2019-08-23 - 2023-09-19 - G06F16/43
  • 本申请公开了一种生成影集视频的方法、装置、设备及存储介质,所述方法包括:显示社交客户端的聊天会话界面,所述聊天会话界面是至少两个帐号之间进行聊天的界面;在所述聊天会话界面接收到触发操作时,根据所述触发操作获取历史聊天记录中的多媒体信息;显示预览列表,所述预览列表用于显示所述历史聊天记录中的多媒体信息;在接收到所述预览列表上的选择操作时,根据所述选择操作所选择的多媒体信息生成影集视频;显示生成的所述影集视频。通过将历史聊天记录中的多媒体信息生成影集视频,无需用户逐条翻阅历史聊天记录,提高了用户收集多媒体信息的效率。
  • 洗衣机运行信息展示方法及设备-202210213591.5
  • 丁硕;邹存璐;许升 - 青岛海尔洗衣机有限公司;海尔智家股份有限公司
  • 2022-03-04 - 2023-09-12 - G06F16/43
  • 本发明提供一种洗衣机运行信息展示方法及设备,涉及家电领域,该方法包括:响应于查询指令,生成洗衣机的运行信息展示界面,运行信息展示界面包括时间组件、仿真组件以及日志组件,时间组件用于记录洗衣机的运行事件,仿真组件用于对洗衣机的各项运行事件进行动态展示,日志组件用于记录洗衣机的各项运行事件的日志信息;响应于查看指令,在运行信息展示界面中对目标事件节点对应的目标运行信息进行显示,目标事件节点为时间组件上配置有预设标识的事件节点,目标运行信息包括目标事件节点对应运行事件的动态展示信息以及日志信息。本发明提供的洗衣机运行信息展示方法,数据显示一目了然,直观易辨,可以提高查找目标数据的效率。
  • 多媒体资源处理方法、系统、终端及计算机可读存储介质-201911372531.2
  • 于峰 - 新方正控股发展有限责任公司;北京北大方正电子有限公司
  • 2019-12-27 - 2023-09-05 - G06F16/43
  • 本发明提出了一种多媒体资源处理方法、系统、终端及计算机可读存储介质。其中多媒体资源处理方法包括:获取目标多媒体信息的查询特征;识别多媒体资源的特征标识;根据查询特征和特征标识,确定查询特征对应的目标多媒体信息;聚合并显示目标多媒体信息。本发明的多媒体资源处理方法能够在用户制作资源时,无需手动进行分类即可自动将多媒体资源划分到各个栏目下,并且可以快速的查询不同条件下的多媒体资源,大幅降低了用户的工作量,同时避免了手动操作过程中的人为出错,大大提高了工作质量和工作效率。
  • 服务器、媒资聚合方法及介质-202310474215.6
  • 隋雪芹 - 青岛聚看云科技有限公司
  • 2023-04-27 - 2023-08-25 - G06F16/43
  • 本公开涉及一种服务器、媒资聚合方法及介质,通过根据搜索文本,确定多个判定文本,并分别获取搜索文本与各个判定文本之间的第一相似度;根据搜索文本与各个判定文本之间的第一相似度,在多个判定文本中确定目标候选文本集合;针对搜索文本相关的第一图片集合、以及目标候选文本集合中各个目标候选文本相关的第二图片集合,分别获取第一图片集合与各个第二图片集合之间的第二相似度;根据第一相似度以及第二相似度,得到搜索文本与各个目标候选文本之间的目标相似度;针对搜索文本与各个目标候选文本之间的目标相似度,将目标相似度大于预设阈值的目标候选文本对应的媒资数据发送给终端设备,以使终端设备显示媒资数据,提高展示媒资数据准确性。
  • 内容搜索方法、装置、电子设备、存储介质和程序产品-202310858808.2
  • 廖东亮;赵珉怿;周水庚;王艺如 - 腾讯科技(深圳)有限公司
  • 2023-07-13 - 2023-08-11 - G06F16/43
  • 本申请实施例公开了一种内容搜索方法、装置、电子设备、存储介质和程序产品,可以应用于人工智能技术领域,如计算机视觉的场景;本申请实施例获取搜索信息以及多媒体资源;从搜索信息中提取文本特征,以及从多媒体内容中提取内容特征;通过语义分布参数,对内容特征进行映射,得到映射特征;基于文本特征,对映射特征进行语义识别,确定映射特征对应的语义类型;从不同语义类型中,确定满足相关性条件的目标映射特征;根据目标映射特征,从多媒体资源中确定搜索信息的搜索结果。在本申请实施例中,结合基于语义分布参数的映射过程,以及基于不同语义类型的特征筛选过程,能够提供精准、多样化的搜索结果。
  • 互动实现方法、终端、服务端、计算机设备及存储介质-202010878454.4
  • 江周平 - 深圳一块互动网络技术有限公司
  • 2020-08-27 - 2023-07-25 - G06F16/43
  • 本申请公开了一种互动实现方法,应用于小程序,包括:获取页面原始图片;识别出参照物并获得参照物在页面原始图片中的位置信息;从页面原始图片进行特征点提取并获得页面待比对特征点信息;基于待比对特征点信息与参照物在页面原始图片中的位置信息加载对应的多媒体文件并进行播放。本申请还提供一种终端、服务端、计算机设备及存储介质。本申请通过社交软件轻应用小程序进行实时内容检索,无需额外下载APP,使用方便。
  • 导览方法、装置、导览设备、导览系统及存储介质-201911230100.2
  • 巩一璞;王芳芳;杜鹃;王小伟;王顺仁 - 敦煌研究院
  • 2019-12-04 - 2023-07-18 - G06F16/43
  • 本发明涉及一种导览方法、装置、导览设备、导览系统及存储介质,该方法包括:确定用户当前所在的待导览空间的标识;根据标识查询预先建立的数据库,获取与待导览空间对应的导览数据,导览数据包括全景视图文件所包括的各个预设视角与现实方位的第一对应关系及每个讲解单元与全景视图文件所包括的各个预设视角的第二对应关系;获取自身的当前方位信息;根据当前方位信息与第一对应关系、第二对应关系,确定全景视图文件中与当前方位信息对应的当前预设视角及与当前预设视角对应的待讲解单元;对当前预设视角及待讲解单元进行展示。其中,导览设备所展示的讲解单元的内容和当前预设视角所显示的全景图像随着用户朝向的改变而改变。
  • 一种人工AI智能文件数字化管理方法及系统-202211567612.X
  • 黄涛;余先敏;黄唐含;张晏畅;陆超群 - 中国南方电网有限责任公司超高压输电公司曲靖局
  • 2022-12-07 - 2023-07-14 - G06F16/43
  • 本发明公开了一种人工AI智能文件数字化管理方法及系统包括,根据电网多媒体资产文件的实体异构数据、文本特征以及图谱因子,建立第一文件知识图谱模型;根据文件知识图谱模型,设计相应目标算法与注意力机制,并建立第二文件知识图谱模型;根据第二文件知识图谱模型实现对文件数字化管理。基于人工智能技术挖掘多媒体非结构化数字资产价值的多媒体融合数据分析平台,系统将人工智能技术引入数字资产管理,自动分析媒体文件内容,形成基于人物、场景、内容等信息的索引,无需编目即可实现媒体文件的跨系统、跨模态精准检索,辅助提升创作效率,充分挖掘媒体数字资产的价值。
  • 内容处理方法、系统、装置、计算设备和存储介质-202011359273.7
  • 胥昕昂 - 北京百度网讯科技有限公司
  • 2020-11-27 - 2023-07-14 - G06F16/43
  • 本公开涉及一种内容处理方法、系统、装置、计算设备和存储介质,并且涉及云计算技术领域。该方法包括由接入层获取第一请求,第一请求包括内容数据和针对内容数据的处理命令。该方法还包括由接入层响应于第一请求的来源满足安全性指标,向服务层发送第二请求,其中,第二请求包括内容数据和处理命令,并且第二请求不包括第一请求的来源。该方法进一步包括由服务层根据处理命令对内容数据进行处理。
  • 信息检索方法和装置-202310151989.5
  • 刘雨;刘啸;王凯曦;韦大平;陈政 - 深圳前海微众银行股份有限公司
  • 2023-02-10 - 2023-05-30 - G06F16/43
  • 本申请提供了一种信息检索方法和装置,属于金融科技(Fintech)领域,该方法包括:将非结构化数据转换为混合向量,非结构化数据包括图片数据、视频数据、音频数据和自然语言中的至少一种,混合向量包括特征向量和该特征向量的属性标签;根据特征向量的属性标签,建立属性分区表并将特征向量存入至属性分区表中的一级标签分区中;根据预设的标签分级条件,对一级标签分区进行逐级分区得到至少一个N级标签分区,并确定存入至N级标签分区下的特征向量,N为取值大于或等于1的正整数;根据各N级标签分区和存入至N级标签分区下的特征向量,构建向量索引文件,并查询与源数据匹配的目标非结构化数据。该技术方案可以提高非结构化数据的查询效率。
  • 一种信息共享融合媒体发布系统-202310025903.4
  • 郭红岩 - 北京汇众智联科技有限公司
  • 2023-01-09 - 2023-05-26 - G06F16/43
  • 本发明公开的属于融合媒体技术领域,具体为一种信息共享融合媒体发布系统,包括服务器、数据采集模块、第一储存模块、第二储存模块、数据处理模块和展示模块,所述服务器通过数据传输模块连接有数据采集模块,所述服务器连接有第一储存模块、第二储存模块、数据处理模块和展示模块,所述服务器连接有标签分类模块,所述数据传输模块用于将数据采集模块采集的互联网数据信息传输至服务器,所述服务器连接有查询模块,所述查询模块用于使用者对第二储存模块中储存的互联网数据信息进行查询,通过展示模块进行策划指挥、智能采编、平台发布、绩效考核和分析反馈,提高信息内容的生产效率,降低工作人员的劳动量。
  • 信息查询方法和装置-201811497262.8
  • 曹俊跃;刘舒;梁雨霏;赵明伟 - 北京字节跳动网络技术有限公司
  • 2018-12-07 - 2023-05-16 - G06F16/43
  • 本公开实施例公开了信息查询方法和装置。该方法的一具体实施方式包括:响应于接收到预设查询操作,确定输入的终端设备的多媒体相关信息的范围;在预设多媒体相关信息集合中,查找并输出与该范围匹配的查询结果,其中,该查询结果包括机型信息,该预设多媒体相关信息集合包括机型信息与多媒体相关信息的对应关系。本公开实施例能够灵活地利用输入的多媒体相关信息的范围,有针对性地查询机型信息等信息。利用机型信息与多媒体相关信息的对应关系,能够准确地查询到各种多媒体相关信息的范围所对应的机型信息。
  • 一种跨域对齐嵌入空间的零样本跨模态检索方法-201911228649.8
  • 徐行;张明;林凯毅;杨阳;沈复民;贾可;申恒涛 - 成都考拉悠然科技有限公司
  • 2019-12-04 - 2023-05-05 - G06F16/43
  • 本发明涉及跨模态检索技术领域,具体的说,是一种跨域对齐嵌入空间的零样本跨模态检索方法。所述的零样本跨模态检索方法先将不同模态数据和类别标签一起通过变分自动编码器映射到不同模态共同的低维的潜在嵌入空间,然后采用跨模态重构机制进行数据重构、采用跨域对齐机制进行跨域对齐、采用循环一致性约束机制进行循环一致性约束,经过整个网络训练后进行跨模态检索。本发明利用一个多模态变分自动编码器来构建类别嵌入和相同类别下不同模态的共同低维潜在嵌入空间而不是直接使用类别嵌入作为语义空间,并且避免了使用难以稳定训练的对抗生成网络,同时解决了“异构鸿沟”的问题。
  • 基于媒资搜索的数据处理方法、装置、终端设备及介质-202211323703.9
  • 陈浩 - 深圳市酷开网络科技股份有限公司
  • 2022-10-08 - 2023-04-14 - G06F16/43
  • 本申请适用于数据引擎技术领域,尤其涉及一种基于媒资搜索的数据处理方法、装置、终端设备及介质。该方法获取N个媒资元数据,提取每个媒资元数据的关键词和授权地区,若存在关键词相同的至少两个媒资元数据,则将至少两个媒资元数据对应的授权地区形成KV数据,授权地区为K值,同一授权地区出现次数作为Vlue值,针对所有关键词,将每个关键词与对应的KV数据和媒资元数据形成媒资表后,将媒资表同步至搜索引擎,形成以关键词和授权地区为搜索依据的搜索引擎,以便于快速地查找到对应的媒资,使用授权地区与次数构成KV数据的方式,可以有效降低授权地区的存储占用空间,从而有助于提高搜索效率。
  • 一种基于变分自编码器的零样本跨模态检索方法-202210463114.4
  • 徐行;王凯;田加林;杨阳;沈复民;申恒涛 - 电子科技大学
  • 2022-04-28 - 2023-04-07 - G06F16/43
  • 本发明公开了一种基于变分自编码器的零样本跨模态检索方法,该方法通过基于变分自编码器的零样本跨模态检索模型实现,模型包括特征提取器,分类器,混合变分自编码器及损失函数、多模态解耦变分自编码器及损失函数,特征对齐损失函数和反直觉交叉重构损失函数,本发明通过数据预处理、提取原始特征、对原始特征进行处理、模型参数更新以及模型预测得到不可见类的检索结果。本发明将变分自编码器模型适应性地应用在零样本跨模态检索任务中,引导模型在训练过程中自行学习更加细化的语义嵌入以进行跨模态语义特征对齐,以学习到适合多模态语义特征的子空间分布。同时利用全新的反直觉重构策略加强语义信息保存的效果,实现更好的检索性能。
  • 多媒体资源分类方法、装置、计算机设备及存储介质-201811023323.7
  • 唐永毅;马林;刘威;周连强 - 腾讯科技(深圳)有限公司
  • 2018-09-03 - 2023-04-07 - G06F16/43
  • 本发明公开了一种多媒体资源分类方法、装置、计算机设备及存储介质,属于计算机技术领域。所述方法包括:根据资源分类指令,获取待分类的多媒体资源;调用资源分类模型,所述资源分类模型包括多个资源分类模块,每个资源分类模块对应于一种多媒体资源的分类算法;将所述多媒体资源输入所述资源分类模型中,由所述资源分类模型中的每个资源分类模块分别对所述多媒体资源进行分类,得到多个第一分类结果,基于所述多个第一分类结果输出第二分类结果,所述第二分类结果为所述多媒体资源的至少一个类型。本发明通过一个模型中的多个资源分类模块进行分类,并综合结果,有效提高了多媒体资源分类的准确性。
  • 一种多媒体答案生成方法、装置、终端设备以及存储介质-201811295847.1
  • 高雪;陈喆;姜毅;莫智慧;陈志宇;毛书宇;王亚军;杨茜 - 阿里巴巴集团控股有限公司
  • 2018-11-01 - 2023-04-07 - G06F16/43
  • 本发明提供一种多媒体答案生成方法、装置、终端设备以及存储介质,其中方法包括:对用户输入的内容数据进行解析,获得与内容数据对应的答案内容信息与答案特征信息;根据答案特征信息进行检索,获得与答案特征信息匹配的素材数据和/或模板数据;将答案内容信息与素材数据和/或模板数据进行结合,生成包括答案内容信息的多媒体答案。本发明使用户仅需输入少量内容数据,便可根据内容数据快速获得素材数据和/或模板数据,并使用素材数据和/或模板数据自动生成多媒体答案,操作简便,无需花费较多时间和精力查找及编辑多媒体答案所需数据。
  • 多媒体的交互方法、信息交互方法、装置、设备及介质-202011296626.3
  • 胡诗佳;陈可蓉;熊梦园;钱程 - 北京字跳网络技术有限公司
  • 2020-11-18 - 2023-03-10 - G06F16/43
  • 本公开实施例涉及一种多媒体的交互方法、装置、设备及介质,其中该方法包括:接收用户对多媒体展示界面上字幕交互聚合标识的触发操作,其中,多媒体展示界面上展示有多媒体、多媒体的字幕内容以及字幕交互聚合标识,展示字幕交互聚合标识对应的至少一个字幕交互内容,其中,字幕交互内容为针对字幕内容的交互内容。采用上述技术方案,由于字幕交互聚合标识是对多个字幕交互内容的聚合表征,基于字幕交互聚合标识的触发可以快捷展示针对多媒体的字幕内容的多个字幕交互内容,提高了字幕交互内容的展示效率,字幕交互聚合标识不被触发时仅仅展示一个标识,相较于通常的展示方式,可以根据用户的选择进行展示,更加灵活,展示效果更佳。
  • 一种内容交互方法、装置、计算机设备及存储介质-202111026449.1
  • 黎翠莹;何碧莹 - 腾讯科技(深圳)有限公司
  • 2021-09-02 - 2023-03-03 - G06F16/43
  • 本申请提供一种内容交互方法、装置、计算机设备及存储介质,可以应用于人工智能领域,用于解决内容交互的效率较低的问题。该方法包括:接收第一对象向第二对象发送的初始多媒体内容,提取所述初始多媒体内容的初始特征信息;基于参考映射关系包含的各个多媒体内容与各个特征信息之间的关联关系,生成与所述初始特征信息相匹配的至少一条回复多媒体内容;从所述至少一条回复多媒体内容中,确定目标回复多媒体内容;向所述第一对象发送所述目标回复多媒体内容;这样,可以自动确定出与初始多媒体内容相匹配的回复内容,提高了内容交互的效率。
  • 一种跨模态检索方法以及检索系统-202211322568.6
  • 强保华;孙苹苹;杨先一;席广勇;陈锐东 - 桂林电子科技大学
  • 2022-10-27 - 2023-01-03 - G06F16/43
  • 本发明提供了一种跨模态检索方法以及检索系统,所述检索方法包括:采用CLIP预训练模型对特征进行编码,获得包括原始图像以及文本的原始模态特征;将所述原始模态特征进行注意力对齐处理得到模态对齐数据以实现原始模态互相之间的语义相关;将上述步骤形成的所述模态数据通过权重共享的多层感知机以保持模态的不变性;利用Arc4cmr损失函数将最终得到的特征数据分布到归一化超球面上进行类别边界约束。本发明的跨模态检索方法使得成对的图像与文本的公共表示尽可能相近,实现同时增强类内紧性和类间差异性。
  • 一种跨模态检索方法、装置、计算机设备和存储介质-201811490973.2
  • 宋彬;姚继鹏;郭洁;罗文雯 - 西安电子科技大学
  • 2018-12-07 - 2022-12-30 - G06F16/43
  • 本发明涉及多模态数据检索技术领域,特别是涉及一种跨模态检索方法、装置、计算机设备和存储介质。所述方法包括:获取第一模态待匹配数据,所述第一模态待匹配数据包括图像数据、文本数据;当所述第一模态待匹配数据为图像数据时,利用深度残差网络ResNet模型进行特征向量提取,当所述第一模态待匹配数据为文本数据时,利用变分自编码器模型进行特征向量提取;利用预设的映射函数将所述特征向量映射到公共表示空间;在所述公共表示空间内计算所述第一模态待匹配数据与第二模态配对数据的相似度,并根据所述相似度输出对应的所述第二模态配对数据,完成跨模态检索。本发明对数据的特征提取更加充分,提高了检索准确率。
  • 基于联合注意力的跨模态深度哈希检索方法、系统及介质-202211118290.0
  • 黄磊;王瑞学;魏志强;韩晓蕊 - 中国海洋大学
  • 2022-09-15 - 2022-12-20 - G06F16/43
  • 本发明属于图像处理技术领域,公开了基于联合注意力的跨模态深度哈希检索方法、系统及介质,本发明通过构建基于联合注意力的跨模态深度哈希检索网络,对于输入的图像和文本,一方面提取多尺度融合图像特征,另一方面提取多尺度融合文本特征,然后分别利用图像模态和文本模态的多注意力矩阵过滤边缘特征并强化核心特征,并利用联合多注意力矩阵联合不同模态的特征生成综合多模态信息的细粒度重构特征,从而实现特征对齐,更好地消除语义差异,提升跨模态检索的准确率。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top