[发明专利]一种基于双向光流的端到端无监督学习方法

说明书

本发明中提出的一种基于双向光流的端到端无监督学习方法，其主要内容包括：基于光流的无监督学习、光流网络架构和计算，其过程为，基于双向(即前向和后向)光流估计来设计对称，遮挡感知损失；使用全面的无监督损失来训练光流网络来估计双向光流；通过堆叠多个光流网络来使用迭代改进，为每个流向执行一次传递，并共享两次传递之间的所有权重；还可以使用监督损失来在无监督训练之后对稀疏标定真实数据上的网络进行微调。本发明利用基于双向光流的端到端无监督学习方法，解决了缺乏标记的实际训练数据的问题，在无需人工进行标注数据的情况下实现较高的准确性，使其更有利于实际应用。

技术领域

本发明涉及无监督学习领域，尤其是涉及了一种基于双向光流的端到端无监督学习方法。

背景技术

无监督学习是机器学习和人工智能领域的一个重要分支，其在机器学习、数据挖掘、生物医学大数据分析、数据科学等领域有着重要地位。无监督学习的作用是在设计分类器时候，用于处理未被分类标记的样本集，其可以大大减少人工标注带来的人力、物力的耗费。无监督学习最常见的应用是图像分类，如在医学领域，无监督学习可以应用于组织病理图像分类，对恶性组织或细胞进行识别和鉴定，实现计算机辅助诊断，减轻医生工作负担，从而提高诊断的准确率；而在日常搜索中，通过对各种类别的人物、动物、生活用品甚至是商品等进行分类，可以大大提高搜索效率，给用户带来极大的便利。除此之外，无监督学习也可用于行为检测，特别是在安保领域，通过对各种人物姿势进行识别和分类，可以结合视频监控系统对公共场合等的密集人流进行行为检测，一旦发现异常行为，即可通知安保人员对其进行控制，从而减少危险事件的发生。近年来的研究中，用于光流的端到端卷积网络仍依赖于合成数据集进行监督，训练和测试场景之间的域不匹配也是一个巨大的挑战。

本发明提出了一种基于双向光流的端到端无监督学习方法，基于双向(即前向和后向)光流估计来设计对称，遮挡感知损失；使用全面的无监督损失来训练光流网络来估计双向光流；通过堆叠多个光流网络来使用迭代改进，为每个流向执行一次传递，并共享两次传递之间的所有权重；还可以使用监督损失来在无监督训练之后对稀疏标定真实数据上的网络进行微调。本发明利用基于双向光流的端到端无监督学习方法，解决了缺乏标记的实际训练数据的问题，在无需人工进行标注数据的情况下实现较高的准确性，使其更有利于实际应用。

发明内容

针对训练和测试场景之间的域不匹配的问题，本发明的目的在于提供一种基于双向光流的端到端无监督学习方法，基于双向(即前向和后向)光流估计来设计对称，遮挡感知损失；使用全面的无监督损失来训练光流网络来估计双向光流；通过堆叠多个光流网络来使用迭代改进，为每个流向执行一次传递，并共享两次传递之间的所有权重；还可以使用监督损失来在无监督训练之后对稀疏标定真实数据上的网络进行微调。

为解决上述问题，本发明提供一种基于双向光流的端到端无监督学习方法，其主要内容包括：

(一)基于光流的无监督学习；

(二)光流网络架构和计算。

其中，所述的基于光流的无监督学习，基于光流的无监督学习包括无监督损失和后向扭曲，具体为以下三个方面：

(1)基于双向(即前向和后向)光流估计来设计对称，遮挡感知损失；

(2)使用全面的无监督损失来训练光流网络-C来估计双向光流；

(3)通过堆叠多个光流网络来使用迭代改进；

可选地，还可以使用监督损失来在无监督训练之后对稀疏标定真实数据上的网络进行微调。