[发明专利]基于Transformer的行为识别算法

摘要

本发明公开了基于Transformer的行为识别算法。它完全基于一种避免重复和卷积的注意机制，它利用了计算机视觉和自然语言处理的最新进展，并将它们应用于视频理解，可以识别微妙的动作。我们首先从视频中提取人体姿态信息，然后进行位置编码，把提取的信息放到Transformer的编码模块，编码模块中的输出变成解码模块的输入，然后通过前馈网络模块进行行为识别。每个解码器都有一个自注意层和一个完全连接的网络层。每个解码器都有一个自注意层、一个正常注意层和一个完全连接层。普通注意层使解码器在解码时考虑到最后一层编码器的所有时刻的输出，所以最后一层编码器的输出需要馈给所有解码器来完成这个普通注意。同时，自我注意不包含位置关系，需要进行位置编码。从姿态估计部分提取原始视频的时空信息，输入神经网络进行提取，然后对骨架数据的时空信息进行处理，最后输出，从而实现更好的动作识别。