[发明专利]一种基于多模态注意力融合网络的行为识别方法及系统在审
| 申请号： | 202111458271.8 | 申请日： | 2021-12-02 |
| 公开（公告）号： | CN114170683A | 公开（公告）日： | 2022-03-11 |
| 发明（设计）人： | 舒祥波;葛晓静;杨佳文;宋砚 | 申请（专利权）人： | 南京理工大学 |
| 主分类号： | G06V40/20 | 分类号： | G06V40/20;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京高沃律师事务所 11569 | 代理人： | 刘芳 |
| 地址： | 210094 江苏省南*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于多模态注意力融合网络的行为识别方法及系统。该方法包括利用多模态注意力融合网络中的ResNeXt101网络提取待识别的视频中的RGB特征；并利用多模态注意力融合网络中的Shift‑GCN网络提取骨骼特征；对利用多模态注意力融合网络中的模态融合网络对RGB特征和骨骼特征进行模态融合，确定模态融合后的特征；利用多模态注意力融合网络中的通道融合网络对模态融合后的特征进行通道融合，确定通道融合后的特征；对RGB特征的损失、骨骼特征的损失以及通道融合后的特征的损失进行整合，确定多模态损失，并利用多模态损失优化多模态注意力融合网络，输出行为识别结果。本发明能够提高行为识别的准确性。 | ||
| 搜索关键词： | 一种 基于 多模态 注意力 融合 网络 行为 识别 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京理工大学，未经南京理工大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111458271.8/，转载请声明来源钻瓜专利网。
- 上一篇：一种用于铝基线路板切割废料收集装置
- 下一篇：显示面板及电子装置
