[发明专利]一种模态交互的图注意融合的教育视频问答方法及系统有效
| 申请号： | 202111091522.3 | 申请日： | 2021-09-17 |
| 公开（公告）号： | CN113837259B | 公开（公告）日： | 2023-05-30 |
| 发明（设计）人： | 伊永菊;王文辉;佘广南;李银;梅甜 | 申请（专利权）人： | 中山大学附属第六医院 |
| 主分类号： | G06V10/764 | 分类号： | G06V10/764;G06V10/80;G06V10/774;G06V10/40 |
| 代理公司： | 广州凯东知识产权代理有限公司 44259 | 代理人： | 姚迎新 |
| 地址： | 510655 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供了一种模态交互的图注意融合的教育视频问答方法及系统，本申请通过对原始教育视频素材进行预处理得到训练数据集；提取训练数据集中各个模态的特征，将视频静态帧特征、视频动态特征和字幕特征分别输入至模态内交互模块中得到模态内交互特征；将各模态内交互特征输入至模态间交互模块得到模态间交互特征；将输入视频静态交互特征、输入视频文本交互特征与模态间交互特征输入至图注意融合模块进行融合得到最终的图注意融合的特征；将最终的图注意融合的特征输入至分类器进行训练得到教育视频问答模型模型，并应用到实际场景中。本申请能够提取视频中更加精确的信息，提高用户和视频的交互效果以及用户理解视频的效率。 | ||
| 搜索关键词： | 一种 交互 注意 融合 教育 视频 问答 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中山大学附属第六医院，未经中山大学附属第六医院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111091522.3/，转载请声明来源钻瓜专利网。
