[发明专利]基于关键对象拼合的实时视频识别加速器

权利要求书

1.一种基于关键对象拼合的实时视频识别加速器，其特征在于，包括：对象追踪模块、对象聚合模块、对象拆分模块、预设神经网络加速器以及分别与所述对象追踪模块、所述对象聚合模块和所述对象拆分模块连接的更新对象队列模块和主存模块，所述主存模块还与所述预设神经网络加速器连接；

所述主存模块，用于存储合成帧、合成帧的识别结果、I类帧图像识别结果、P类帧图像识别结果和B类帧图像识别结果以及目标视频解码后得到的P类帧图像数据、B类帧图像数据、I类帧图像数据、运动矢量表和帧内预测模式表；

所述对象追踪模块，用于基于所述运动矢量表、帧内预设模式表以及已获取的图像识别结果，获取P帧图像数据中关键对象矩形框的原始位置信息或B帧图像数据中关键对象矩形框的原始位置信息；

所述对象聚合模块，用于基于所述P帧图像数据中关键对象矩形框的原始位置信息以及对应的P帧图像数据和/或所述B帧图像数据中关键对象矩形框的原始位置信息以及对应的B帧图像数据，对P帧图像数据中的关键对象矩形框和/或B帧图像数据中的关键对象矩形框进行合并，得到合成帧以及P帧图像数据中关键对象矩形框在合成帧中的放置位置信息和/或B帧图像数据中关键对象矩形框在合成帧中的放置位置信息；

所述预设神经网络加速器，用于对I类帧图像数据和合成帧进行处理，得到I类帧图像识别结果和合成帧识别结果；

所述更新对象队列模块，用于存储P帧图像数据中关键对象矩形框的原始位置信息、B帧图像数据中关键对象矩形框的原始位置信息、P帧图像数据中关键对象矩形框在合成帧中的放置位置信息以及B帧图像数据中关键对象矩形框在合成帧中的放置位置信息；

所述对象拆分模块，用于基于所述P帧图像数据中关键对象矩形框在合成帧中的放置位置信息和/或所述B帧图像数据中关键对象矩形框在合成帧中的放置位置信息对对应合成帧的识别结果进行拆分，并基于所述P帧图像数据中关键对象矩形框的原始位置信息和/或所述B帧图像数据中关键对象矩形框的原始位置信息将拆分结果返还到对应的P帧图像数据或B帧图像数据中，得到P帧图像数据的识别结果或B帧图像数据的识别结果；

其中，所述已获取的图像识别结果包括已经获取的I帧图像数据的识别结果、P帧图像数据的识别结果和/或B帧图像数据的识别结果。

2.根据权利要求1所述的加速器，其特征在于，所述对象追踪模块包括相连的恢复单元和分类单元；

所述恢复单元，用于存储P类帧图像数据信息和B类帧图像数据信息，并用于基于所述P类帧图像数据信息和所述B类帧图像数据信息确定待处理分割小块以及待处理分割小块信息，基于所述待处理分割小块信息从所述主存模块获取所述待处理分割小块的运动矢量或帧内预测模式，基于获取的运动矢量或帧内预测模式获取待处理分割小块的参考分割小块识别结果的地址信息，而后将所述待处理分割小块的参考分割小块识别结果的地址信息和所述待处理分割小块信息中待处理分割小块的原始位置信息分别发送给所述主存模块和所述分类单元，同时还用于向所述更新对象队列模块发送帧结束信息，以结束P帧图像数据中或B帧图像数据中关键对象矩形框位置信息的更新；

所述分类单元，用于接收所述主存模块基于所述待处理分割小块的参考分割小块识别结果的地址信息返回的参考分割小块识别结果，并基于所接收到的参考分割小块识别结果判断所述待处理分割小块是否为关键分割小块，若是则基于所述待处理分割小块的原始位置信息向所述更新对象队列模块发送对应帧图像数据中关键对象矩形框的更新位置信息，否则不向所述更新对象队列模块发送信息。