[发明专利]用于生成物品展示图的方法、装置、电子设备和介质有效
申请号: | 202010876690.2 | 申请日: | 2020-08-27 |
公开(公告)号: | CN112015936B | 公开(公告)日: | 2021-10-26 |
发明(设计)人: | 张伟 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F16/54 | 分类号: | G06F16/54;G06Q30/06;G06N3/08 |
代理公司: | 北京海智友知识产权代理事务所(普通合伙) 11455 | 代理人: | 吴京顺 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 用于 生成 物品 展示 方法 装置 电子设备 介质 | ||
1.一种用于生成物品展示图的方法,包括:
获取目标物品的图像集合;
对所述目标物品的图像集合中的目标物品的图像进行图像主体识别,生成目标物品的主体图像集合;
从所述目标物品的主体图像集合选取图像质量满足预设图像质量条件的主体图像作为准物品展示图;
基于所述准物品展示图进行后处理,生成所述目标物品的物品展示图;
其中,所述获取目标物品的图像集合,包括:
获取与所述目标物品相关的文本;
获取物品相关图像集合,其中,所述物品相关图像集合中包括目标物品的图像;
将所述文本和所述物品相关图像集合中的物品相关图像输入至预先训练的图文相关性确定模型,得到所述文本与输入的物品相关图像之间的相关性度量;
根据所得到的相关性度量,从所述物品相关图像集合中选取满足预设图文相关性条件的物品相关图像,生成所述目标物品的图像集合。
2.根据权利要求1所述的方法,其中,所述图文相关性确定模型包括文本向量提取网络和图像向量提取网络,所述相关性度量用于表征所述文本向量提取网络所提取的文本向量与所述图像向量提取网络所提取的图像向量之间的相关性。
3.根据权利要求1所述的方法,其中,所述获取物品相关图像集合,包括:
获取目标视频,其中,所述目标视频中包括所述目标物品的图像;
从所述目标视频中提取目标数目个视频帧,生成所述物品相关图像集合。
4.根据权利要求1所述的方法,其中,所述获取物品相关图像集合,包括:
获取物品相关页面集合,其中,所述物品相关页面集合中包括所述目标物品的图像;
从所述物品相关页面集合中提取落地页,生成落地页集合;
从所述落地页集合中提取属于预设类别的物品的图像,生成所述物品相关图像集合。
5.根据权利要求1所述的方法,其中,所述图文相关性确定模型通过以下步骤训练得到:
获取训练样本集合,其中,所述训练样本集合中的训练样本包括物品文字信息和与物品文字信息匹配的物品配图;
获取初始图文相关性确定模型,其中,所述初始图文相关性确定模型包括初始文本向量提取网络和初始图像向量提取网络;
将所述训练样本集合中属于同一训练样本的物品文字信息和物品配图输入至所述初始图文相关性确定模型,将表征图文相关的标签作为期望输出,训练得到所述图文相关性确定模型。
6.根据权利要求1所述的方法,其中,所述对所述目标物品的图像集合中的目标物品的图像进行图像主体识别,生成目标物品的主体图像集合,包括:
对所述目标物品的图像集合中的目标物品的图像进行图像主体识别,确定图像主体区域;
对所述目标物品的图像集合中的目标物品的图像进行图像文字识别,确定文字区域;
响应于确定所确定的图像主体区域的边界与所确定的文字区域有交集,扩展所述图像主体区域,以使所述与所确定的图像主体区域的边界有交集的文字区域不超过扩展后的图像主体区域;
基于所述扩展后的图像主体区域,生成所述目标物品的主体图像集合。
7.根据权利要求1所述的方法,其中,所述图像质量包括美学得分和清晰度;以及
所述从所述目标物品的主体图像集合选取图像质量满足预设图像质量条件的主体图像作为准物品展示图,包括:
将所述目标物品的主体图像集合中的目标物品的主体图像输入至预先训练的美学评分模型,得到所述目标物品的主体图像集合中的目标物品的主体图像的美学得分;
将所述目标物品的主体图像集合中的目标物品的主体图像输入至预先训练的清晰度检测模型,得到所述目标物品的主体图像集合中的目标物品的主体图像的清晰度得分;
基于所得到的美学得分和清晰度得分,从所述目标物品的主体图像集合中选取主体图像作为所述准物品展示图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010876690.2/1.html,转载请声明来源钻瓜专利网。