[发明专利]动态预测方法、系统及所适用的设备

说明书

本申请提供一种动态预测方法、系统及所适用的设备。所述动态预测方法包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。本申请的动态预测方法通过将所获取的当前帧图像分割成待预测对象和参照对象，并基于由对象掩码矩阵表示的参照对象掩码矩阵与待预测对象掩码矩阵之间的关系以及预设行为来预测待预测对象的运动，使得能够提高动态预测的泛化能力，并且采用掩码矩阵表示对象，使得所述预测过程可解释。

技术领域

本申请涉及图像分析技术领域，特别是涉及一种动态预测方法、系统及所适用的设备。

背景技术

近年来，得益于大数据的普及和计算能力的提升，强化学习与深度学习的结合即深度强化学习取得了开拓性进展。在实际应用中，泛化和可解释性是深度强化学习面临的主要挑战。其中，泛化是指模型对新鲜样本的适应，即训练好的模型在未见过数据上的表现。可解释性是指区别于“黑盒子”而能够解释是如何解决问题的特性。一般地，为了解决上述问题，关键是要从物体层面学习智能体行为的作用其中，智能体表示具备行为能力的物体，如机器人、无人车等。

然而，针对智能体行为的作用的学习，现有技术通常采用的以行为为条件的动态预测(dynamics prediction)集中于像素级运动且直接预测行为的作用，这限制了对于所学习动态的可解释性和泛化能力。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种动态预测方法、系统及所适用的设备，用于解决现有技术中动态预测方面存在的泛化能力低及不可解释的问题。

为实现上述目的及其他相关目的，本申请的第一方面提供一种动态预测方法，包括以下步骤：获取当前帧图像；基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵；基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动。

在本申请的第一方面的某些实施方式中，所述待预测对象掩码矩阵是基于所述待预测对象确定的，所述参照对象掩码矩阵是基于所述参照对象与所述待预测对象运动的关联关系或所述参照对象的种类确定的。

在本申请的第一方面的某些实施方式中，所述基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵的步骤包括：使用预先训练的第一卷积神经网络基于所述当前帧图像确定包括待预测对象的待预测对象掩码矩阵以及包括参照对象的参照对象掩码矩阵。

在本申请的第一方面的某些实施方式中，所述基于所述待预测对象掩码矩阵和所述参照对象掩码矩阵之间的关系以及预设行为预测所述待预测对象的运动的步骤包括：以所述待预测对象掩码矩阵中待预测对象的位置为中心依据预设视野窗尺寸对所述参照对象掩码矩阵进行裁剪以获得经裁剪的参照对象掩码矩阵；基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用；基于预设行为和所确定的作用预测所述待预测对象的运动。

在本申请的第一方面的某些实施方式中，所述动态预测方法还包括以下步骤：对所获得的经裁剪的参照对象掩码矩阵添加位置信息并基于预先训练的第二卷积神经网络确定所述经裁剪的参照对象掩码矩阵所表示的参照对象对所述待预测对象的作用。

在本申请的第一方面的某些实施方式中，所述作用还包括预设的待预测对象自身的作用。

在本申请的第一方面的某些实施方式中，所述动态预测方法还包括以下步骤：从所述当前帧图像中提取时不变背景；结合所提取的时不变背景和所预测的待预测对象的运动获得下一帧图像。