[发明专利]特征传播方法和装置、电子设备和介质

说明书

本发明实施例公开了一种特征传播方法和装置、电子设备和介质，其中，方法包括：判断当前帧是否为关键帧；响应于所述当前帧为视频中的非关键帧，根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。本发明实施例利用了视频帧之间的一致性信息，利用邻近帧之间的语义标签相近的特点，将视频语义特征从相邻的前一关键帧传播到当前帧，减少了重复计算时间，并且提高了语义分割的准确性。

技术领域

本发明涉及计算机视觉技术，尤其是一种特征传播方法和装置、电子设备、程序和介质。

背景技术

视频语义分割是计算机视觉和视频语义理解任务中的重要问题。视频语义分割模型在很多领域，例如自动驾驶，视频监控，以及视频目标分析等领域，有重要的应用。

目前，虽然对图像的语义分割技术研究的比较多，但是对视频语义分割技术却研究的比较少。视频语义分割要求较高的实时性，同时能够保证足够的精度。

发明内容

本发明实施例提供一种视频中的特征传播技术方案。

根据本发明实施例的一个方面，提供的一种特征传播方法，包括：

判断当前帧是否为关键帧；

响应于所述当前帧为视频中的非关键帧，根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征；其中，神经网络中，提取得到所述前一关键帧的低层特征对应的第一网络层的网络深度，浅于提取得到所述前一关键帧的高层特征对应的第二网络层的网络深度。

可选地，在本发明上述任一方法实施例中，所述根据所述当前帧相邻的前一关键帧的低层特征和所述当前帧的低层特征，由所述前一关键帧的高层特征获取所述当前帧的高层特征，包括：

根据相邻的前一关键帧的低层特征和所述当前帧的低层特征，获取从所述前一关键帧的低层特征变换到所述当前帧的低层特征的转换权值；

根据所述前一关键帧的高层特征和所述转换权值，将所述前一关键帧的高层特征转换为所述当前帧的高层特征。

可选地，在本发明上述任一方法实施例中，响应于所述当前帧为视频中的非关键帧，还包括：

至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。

可选地，在本发明上述任一方法实施例中，所述至少基于所述当前帧的高层特征，对所述当前帧进行语义分割，包括：

基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割，获得所述当前帧的语义标签。

可选地，在本发明上述任一方法实施例中，基于所述当前帧的低层特征和高层特征，对所述当前帧进行语义分割，包括：

对所述当前帧的低层特征进行转换，获得与所述当前帧的高层特征的通道数一致的特征；

将所述当前帧转换得到的特征与所述当前帧的高层特征进行拼接或融合，获得当前帧特征；

基于所述当前帧特征，对所述当前帧进行语义分割。

可选地，在本发明上述任一方法实施例中，所述判断当前帧是否为关键帧，包括：

利用关键帧调度策略判断所述当前帧是否为关键帧。

可选地，在本发明上述任一方法实施例中，所述利用关键帧调度策略判断所述当前帧是否为关键帧，包括：利用固定长度调度法判断所述当前帧是否为关键帧；