[发明专利]一种人物意图推理方法、装置、设备及存储介质

说明书

本发明公开了一种人物意图推理方法、装置、设备及存储介质，该方法包括：对待推理图像进行目标检测得到目标检测结果；确定待推理图像中与目标检测结果中各人物的检测框对应的图像部分分别为相应人物的待推理子图像，获取各待推理子图像中相应人物的关节点的关节特征及遮挡概率；基于遮挡概率对相应关节点的关节特征进行预测分析得到相应的预测特征，基于各待推理子图像中相应人物的关节点的关节特征及预测特征进行修正，得到相应修正特征；利用目标检测结果及各待推理子图像中相应人物的关节点的修正特征进行人物意图推理，得到相应的人物意图推理结果。本申请能够实现细粒度人体关节特征的提取，进而有效提高人物意图推理的准确性。

技术领域

本发明涉及视觉常识推理技术领域，更具体地说，涉及一种人物意图推理方法、装置、设备及存储介质。

背景技术

近年来，多模态成为人工智能领域中新兴的研究方向，视觉常识推理（VCR，VisualCommonsense Reasoning）是多模态领域研究方向中一个重要的分支，其目的旨在通过视觉信息推断文字描述的正误，如图1所示，研究者们通过输入图片与输入文字，使模型推断出目标任务的意图，从而使模型拥有根据图像与文字两个模态的数据进行推理的能力。

当前解决VCR任务的主流方法是将视觉特征和文本特征共同输入到transformer结构中，进而进行模态融合。但是在实际研发过程中，发明人发现由于现有算法在视觉特征的提取方法上主要依赖目标检测网络的结果，而现有目标检测网络大多基于VisualGenome或COCO完成训练，其在人体特征上粒度较粗，因此导致人物意图推理的准确性较低。

发明内容

本发明的目的是提供一种人物意图推理方法、装置、设备及存储介质，能够实现细粒度人体关节特征的提取，从而有效提高人物意图推理的准确性。

为了实现上述目的，本发明提供如下技术方案：

一种人物意图推理方法，包括：

对待推理图像进行目标检测得到相应的目标检测结果；

基于所述目标检测结果确定所述待推理图像中各人物的检测框，确定所述待推理图像中各检测框对应的图像部分分别为相应人物的待推理子图像，获取各待推理子图像中相应人物的关节点的关节特征及遮挡概率；

基于所述遮挡概率对相应关节点的关节特征进行预测分析得到相应的预测特征，基于各待推理子图像中相应人物的关节点的关节特征及预测特征进行修正，得到各待推理子图像中相应人物的关节点的修正特征；

利用所述目标检测结果及各待推理子图像中相应人物的关节点的修正特征进行人物意图推理，得到相应的人物意图推理结果。

优选的，基于所述遮挡概率对相应关节点的关节特征进行预测分析得到相应的预测特征，包括：

将任意待推理子图像作为当前子图像，将当前子图像中各关节点的关节特征及相应遮挡概率进行编码融合，得到相应的融合特征信息；

将当前子图像的融合特征信息输入至遮挡关节点预测网络，得到所述遮挡关节点预测网络输出的当前子图像中各关节点的预测特征；其中，所述遮挡关节点预测网络为基于已知预测特征的多项融合特征信息预训练得到的。

优选的，将当前子图像中各关节点的关节特征及相应遮挡概率进行编码融合，得到相应的融合特征信息，包括：

将当前子图像的关节特征与当前子图像的遮挡概率直接拼接成相应的多维向量作为当前子图像的融合特征信息。

优选的，将当前子图像中各关节点的关节特征及相应遮挡概率进行编码融合，得到相应的融合特征信息，包括：

将当前子图像的遮挡概率扩展成d维子概率，将该d维子概率分别与当前子图像的d维关节特征一一对应相加，得到当前子图像的融合特征信息。