[发明专利]一种第一视角视频行为预测系统及方法

摘要

本发明一种第一视角视频行为预测系统，用于根据已有的视频进行行为预测，所述系统包括：视觉特征提取模块，用于提取已有视频中的视觉特征；基于直觉的预测模块，用于根据视觉特征提取模块提取到的视觉特征进行基于直觉的预测，得到第一预测结果；基于分析推理的预测模块，用于根据视觉特征提取模块提取到的视觉特征进行基于分析推理的预测，得到第二预测结果；自适应融合模块，用于采用注意力机制将将第一预测结果和第二预测结果进行有机融合，得到最终的行为预测结果。本发明将基于直觉的和基于分析推理的预测进行有机的结合，有效的缓解了“视觉鸿沟“问题，能更直接的从人类心理角度出发，更准确的预测其下一步动作，准确率更高，为实际工程应用提供更全面的支撑。