[发明专利]一种跨域行为识别方法、装置、设备及可读存储介质

说明书

本发明提供一种跨域行为识别方法、装置、设备及可读存储介质，涉及视觉识别技术领域，该方法包括以下步骤；将待预测数据输入至行为识别模型中，得到行为识别模型输出的视频动作识别结果；其中，行为识别模型通过对融合训练集和源域训练集训练得到，融合训练集为根据同类预测结果融合和比例渐进融合原则将目标域融合数据与源域训练集进行融合得到，目标域融合数据为根据预测结果和预测结果对应的置信度得分从目标域训练集选取得到，预测结果和置信度得分由将目标域训练集输入至预训练行为识别模型中得到，预训练行为识别模型通过对源域训练集进行训练得到，本发明能兼容域之间的差异，具有通用性并且兼顾了精确度的要求。

技术领域

本发明涉及视觉识别技术领域，尤其涉及一种跨域行为识别方法、装置、设备及可读存储介质。

背景技术

深度学习方法在行为识别领域取得了很好的结果，但这种结果建立在以下两个前提的基础之上：首先，模型在进行训练时要有足够的训练集；另外，测试集与训练集应遵循相同的分布。但是在实际应用中这两个条件往往难以满足：首先，数据的采集、标注会耗费大量的人力、物力成本；其次，在实际应用中，不同的场景采集到的数据不尽相同，诸如光照、视角、视野等差距较大，这就导致训练集与测试集本存在较大的分布差异。

事实上，当某一表现良好的动作识别模型应用于不同分布的数据集时，由于域偏移，模型的性能会显著下降，这极大地限制了当前动作识别模型的应用。因此，能够让动作识别模型在新的场景下仍然具有较好的表现，即跨域行为识别成为一个目前业界亟待解决的问题。

发明内容

本发明提供一种跨域行为识别方法、装置、设备及可读存储介质，用以解决现有技术中解决跨域行为识别时，由于源域与目标域数据分布不同而引起的跨域识别性能降低的缺陷，实现兼容域之间的差异，具有通用性并且兼顾了精确度的要求。

本发明提供一种跨域行为识别方法，包括以下步骤：

将待预测数据输入至行为识别模型中，得到所述行为识别模型输出的视频动作识别结果；

其中，所述行为识别模型通过对融合训练集和源域训练集训练得到，所述融合训练集为根据同类预测结果融合和比例渐进融合原则将目标域融合数据与所述源域训练集进行融合得到，所述目标域融合数据为根据预测结果和所述预测结果对应的置信度得分从目标域训练集选取得到，所述预测结果和所述置信度得分由将所述目标域训练集输入至预训练行为识别模型中得到，所述预训练行为识别模型通过对所述源域训练集进行训练得到。

根据本发明提供的跨域行为识别方法，所述将待预测数据输入至行为识别模型中，得到所述行为识别模型输出的视频动作识别结果之前，该方法还包括以下步骤：

将目标域训练集输入至预训练行为识别模型中，得到所述预训练行为识别模型输出的预测结果和所述预测结果对应的置信度得分；其中，所述预训练行为识别模型通过对源域训练集进行训练得到；

根据所述预测结果和所述置信度得分，从所述目标域训练集中选取目标域融合数据；

根据同类预测结果融合和比例渐进融合原则，将所述目标域融合数据与所述源域训练集进行融合，得到融合训练集；其中，所述比例渐进融合原则中每种同类所述预测结果均具有多个融合比例，所述融合比例为所述源域训练集在所述融合训练集中的占比，不同所述融合比例中所述源域训练集的占比不同，且，每种同类所述预测结果中所有的所述融合比例中所述源域训练集的占比逐渐提高。

根据本发明提供的跨域行为识别方法，所述预训练行为识别模型通过以下步骤得到：

从所述源域训练集得到源域帧序列，对所述源域帧序列进行采样，得到源域采样帧序列；

根据所述源域采样帧序列得到对应的源域识别结果；