[发明专利]基于深度学习的中文图像描述方法在审
| 申请号： | 201910430128.4 | 申请日： | 2019-05-22 |
| 公开（公告）号： | CN110188772A | 公开（公告）日： | 2019-08-30 |
| 发明（设计）人： | 王哲;郑海涛;赵从志 | 申请（专利权）人： | 清华大学深圳研究生院 |
| 主分类号： | G06K9/46 | 分类号： | G06K9/46;G06K9/62;G06F17/27 |
| 代理公司： | 深圳新创友知识产权代理有限公司 44223 | 代理人： | 江耀纯 |
| 地址： | 518055 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供基于深度学习的中文图像描述方法，包括如下步骤：S1、基本描述特征抽取：使用Sequence‑to‑sequence深度神经网络从图像中提取基本描述特征；S2、图像实体特征抽取：引入Faster RCNN目标检测网络检测图像中的重要物体，转化为语义作为上下文信息，提取实体特征；S3、丰富语义描述生成：构建基于短语的统计语言模型，基于最大概率将主题信息与上下文信息进行整合，生成语义更丰富的图像描述。本方法可以从缺乏上下文信息标注的数据中自动学习图像实体并转化为上下文信息，极大地减小人工参与程度，无需编制提取规则，并且可以生成内容丰富概括性更强的描述。与目前先进的算法比较，证实本发明的方法在多方面都有着突出的效果。 | ||
| 搜索关键词： | 上下文信息 图像描述 语义 描述特征 图像实体 图像 统计语言模型 目标检测 人工参与 神经网络 实体特征 特征抽取 提取规则 网络检测 语义描述 主题信息 自动学习 最大概率 短语 中文 构建 减小 整合 算法 转化 标注 抽取 学习 引入 编制 | ||
【主权项】：
1.一种基于深度学习的中文图像描述方法，其特征在于包括如下步骤：S1、基本描述特征抽取：使用Sequence‑to‑sequence深度神经网络从图像中提取基本描述特征；S2、图像实体特征抽取：引入Faster RCNN目标检测网络检测图像中的重要物体，转化为语义作为上下文信息，提取实体特征；S3、丰富语义描述生成：构建基于短语的统计语言模型，基于最大概率将主题信息与上下文信息进行整合，生成语义更丰富的图像描述。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学深圳研究生院，未经清华大学深圳研究生院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910430128.4/，转载请声明来源钻瓜专利网。
