[发明专利]一种基于深度学习的艺术品图像多层级描述自动生成方法在审
| 申请号： | 202210887319.5 | 申请日： | 2022-07-26 |
| 公开（公告）号： | CN115272690A | 公开（公告）日： | 2022-11-01 |
| 发明（设计）人： | 刘芳;郑宝莹;张默涵;崔盛兰;杨柏蔼 | 申请（专利权）人： | 湖南大学 |
| 主分类号： | G06V10/424 | 分类号： | G06V10/424;G06V10/44;G06V10/80;G06V10/764;G06V10/82;G06F16/583 |
| 代理公司： | 长沙国科天河知识产权代理有限公司 43225 | 代理人： | 唐品利 |
| 地址： | 410082 湖*** | 国省代码： | 湖南;43 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本申请涉及人工智能技术领域一种基于深度学习的艺术品图像多层级描述自动生成方法。所述方法包括：获取待描述的艺术品图像，对待描述的艺术品图像进行预处理，得到预处理图像；采用基于深度学习方式提取预处理图像的全局视觉特征和局部视觉特征；根据全局视觉特征和局部视觉特征在隐喻知识图谱进行查询，得到艺术品图像的隐喻视觉特征；根据多维度视觉特征在专家句子库中进行查询，得到图像特征对应的专家描述语句；根据多维度视觉特征和预定标题模板，得到艺术品标题；根据专家描述语句和预定详细描述模板，得到艺术品详细描述；根据艺术品标题和艺术品详细描述，得到艺术品图像多层级描述。采用本方法可以实现对艺术品图像描述的高效率生成。 | ||
| 搜索关键词： | 一种 基于 深度 学习 艺术品 图像 多层 描述 自动 生成 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于湖南大学，未经湖南大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202210887319.5/，转载请声明来源钻瓜专利网。
- 同类专利
- 一种分段式细粒度的商品图像描述生成方法、装置和介质-202211597576.1
- 张音捷;王之宇;白冰;张兴明;孙才俊;张奕鹏;陈岱渊;黎海燕;孙天宁;朱桢;徐昊天 - 之江实验室
- 2022-12-12 - 2023-04-11 - G06V10/424
- 本发明公开了一种分段式细粒度的商品图像描述生成方法、装置和介质，该方法包括以下步骤：首先构造一个粗粒度的商品图像描述生成框架，由图像特征提取器、文本解码器、映射网络三部分组成；然后针对图像特征提取器以及文本解码器进行预训练，之后通过映射网络对齐语义空间，生成粗粒度的图像描述；其次在公开的商品描述数据集上微调已有的大型文本生成网络；再将粗粒度的图像描述输入微调后的文本生成网络，生成细粒度的商品图像描述；最后可将上述生成的商品描述再次输入网络，直至生成满意的商品图像描述。本发明的商品图像描述生成方法能够提高商品描述的丰富度和细腻度，自动化批量生成细粒度的商品图像描述。
- 一种基于双注意力模型的图像描述方法-202210955941.5
- 李佩;汪红娟 - 北京印刷学院
- 2022-08-10 - 2022-11-08 - G06V10/424
- 本发明通过网络安全领域的方法，实现了一种基于双注意力模型的图像描述方法。采用“编码器‑解码器”框架结构完成图像描述研究任务，将卷积神经网络+长短期记忆网络+注意力机制结合的框架；首先构建编码器，借助ResNeXt‑101网络和目标检测器Faster R‑CNN来构建新的编码器模型以此获取待测图像的目标区域并进行特征提取；之后构建解码器，使双注意力机制和双层LSTM构建新的解码器来生成图像的描述语句；最后对模型进行优化，采用REINFORCE强化学习算法对模型进行优化。本发明提供的方法能够有效的提高图像描述模型的准确率以及图像描述内容的丰富度，提高图像描述模型的整体性能。
- 一种基于RDE-Net的低照度图像描述方法-202210779763.5
- 江泽涛;朱文才 - 桂林电子科技大学
- 2022-07-04 - 2022-11-04 - G06V10/424
- 本发明公开一种基于RDE‑Net的低照度图像描述方法，所述方法包括如下步骤：1）对图像描述数据集进行处理和划分；2）构造FEX网络从特征图中提取全局特征、区域特征和细节特征；3）构造ENH网络利用细节特征强化区域特征，增强区域特征对细节的感知能力；4）构造两阶段预测模块和CC模块共同对图像进行描述。这种方法中对经过细节强化的区域特征和由低照度目标检测器产生的对象类别词进行了利用，保证了在低照度下也能很好的区分相似的物体，不会产生混淆。
- 一种基于深度学习的艺术品图像多层级描述自动生成方法-202210887319.5
- 刘芳;郑宝莹;张默涵;崔盛兰;杨柏蔼 - 湖南大学
- 2022-07-26 - 2022-11-01 - G06V10/424
- 本申请涉及人工智能技术领域一种基于深度学习的艺术品图像多层级描述自动生成方法。所述方法包括：获取待描述的艺术品图像，对待描述的艺术品图像进行预处理，得到预处理图像；采用基于深度学习方式提取预处理图像的全局视觉特征和局部视觉特征；根据全局视觉特征和局部视觉特征在隐喻知识图谱进行查询，得到艺术品图像的隐喻视觉特征；根据多维度视觉特征在专家句子库中进行查询，得到图像特征对应的专家描述语句；根据多维度视觉特征和预定标题模板，得到艺术品标题；根据专家描述语句和预定详细描述模板，得到艺术品详细描述；根据艺术品标题和艺术品详细描述，得到艺术品图像多层级描述。采用本方法可以实现对艺术品图像描述的高效率生成。
- 基于嵌套注意力的原始特征注入网络的视觉问答方法-202111067912.7
- 吴春雷;路静;王雷全;吴杰;庞善臣;韦学艳 - 中国石油大学（华东）
- 2021-09-13 - 2022-10-28 - G06V10/424
- 本发明公开了基于嵌套注意力的原始特征注入网络的视觉问答方法。以往的方法主要采用注意机制和密集的迭代操作进行细粒度匹配。然而，这些方法无论视觉特征与问题特征是否相关，注意力都会为视觉特征和问题特征输出加权平均值。此外，我们注意到在多次双边共同注意力操作之后，图像的一些有价值但不被关注的边缘信息常常被完全忽视。本发明首次提出了基于嵌套注意力的原始特征注入网络来研究图像和问题之间的对应关系。设计一个具有嵌套注意力强化网络，通过考虑区域间的关系，消除向量不相关信息，有效地融合视觉特征和问题特征。提出原始特征注入模块，恢复图像有价值但不被关注的边缘信息。本发明在VQA2.0上进行大量实验证明了提出模型的有效性。
- 一种增强视觉信息流的图像描述生成方法-202210759217.5
- 纪荣嵘;周奕毅;吴明瑞;张旭迎 - 厦门大学
- 2022-06-29 - 2022-09-13 - G06V10/424
- 一种增强视觉信息流的图像描述生成方法，涉及人工智能领域。使用Faster‑RCNN提取网格特征作为图片网格特征表示；使用一个全景分割网络提取分割图转换成二值图作为这张图片的分割特征表示；将网格特征与分割特征展平，线性变换后送入可迭代的独立的层正则化模块中融合；用额外的跨层残差连接结合来自可迭代的独立的层正则化模块中的两种特征和当前编码后的特征，送入解码器中，解码器以自回归的方式生成图像描述；在所有的多头注意力模块中加入额外的残差连接。提出一个双信息流模型，通过引入分割特征作为另一条视觉信息源增强视觉信息对模型输出预测贡献程度。增强模型预测对视觉信息的依赖程度，使得每个词预测更集中于视觉内容。
- 训练方法、图像描述方法及模型-202210379254.3
- 潘滢炜;李业豪;姚霆;梅涛 - 京东科技控股股份有限公司
- 2022-04-12 - 2022-07-01 - G06V10/424
- 本公开涉及训练方法、图像描述方法及模型、电子设备、计算机可存储介质，涉及计算机技术领域。用于图像描述模型的训练方法包括：获取训练图像及其实际图像描述；根据所述训练图像及其实际图像描述，生成实际对象特征序列，其中，所述实际对象特征序列包括按照所述实际图像描述中对象出现的先后顺序排列的实际对象特征；根据所述训练图像，利用所述图像描述模型，生成预测图像描述；根据所述预测图像描述、所述实际对象特征序列和所述实际图像描述，训练所述图像描述模型，得到训练后的图像描述模型，其中，所述实际对象特征序列和所述实际图像描述为训练所述图像描述模型的监督信号。根据本公开，可以提高图像描述的准确性。
- 场景分析方法和系统、电子设备-201611097543.5
- 石建萍;赵恒爽 - 北京市商汤科技开发有限公司
- 2016-12-02 - 2022-02-22 - G06V10/424
- 本发明实施例公开了一种场景分析方法和系统、电子设备，其中，场景分析方法包括：利用深度神经网络对待分析的图像进行卷积操作，获得第一特征图，该第一特征图包括所述图像中各像素的特征；对第一特征图进行池化操作，获得至少一个第二特征图，所述第二特征图的大小小于所述第一特征图；根据第一特征图与至少一个第二特征图对图像进行场景分析，获得图像的场景分析结果，其中包括图像中各像素的类别。本发明实施例可以提升分析结果的准确性。
- 专利分类
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
