[发明专利]基于强化学习图像亮度调节的空中视角人群计数方法

说明书

本发明公开了一种基于强化学习图像亮度调节的空中视角人群计数方法，首先获取经标注的训练集，对其预处理，得到原始分辨率图像块和低分辨率图像块的标注数据集；基于得到的数据集训练得到原始人群计数模型和粗糙人群计数模型；然后构建并训练强化策略网络模型。工作时，对于待处理的无人机实时图像，利用训练得到的强化策略网络模型选取对应分辨率的图像块并进行亮度值的调整，根据选择结果调取对应的人群计数模型得到各图像块的人群计数结果，综合得到整张图像的人群计数结果。本发明不仅能够在只有空中视觉信息的条件下实现人群计数，还能够基于训练的强化学习模型对原始模型进行加速。

技术领域

本发明属于图像识别计数技术领域，具体涉及一种基于强化学习图像亮度调节的空中视角人群计数方法。

背景技术

当前随着城市化进程的加快以及国际通信的兴起，人群聚集频率越来越高，因此存在大量的安全隐患。在城市地区和大型活动中，人群监控变得非常重要，无人机目前广泛用于人群监控区域，以提高人群数量及动态方面的安全性。无人机具有部署方便快捷、成本低、效率高等优点，但是与常规的基于摄像头的人群计数场景相比，基于空中视角在人群计数场景中的使用存在一些挑战，例如实时性要求、有限的内存和电池资源以及鸟瞰图。

CN202110658605.X公开了一种基于空中视角的跨场景视频人群理解双通道网络方法，其通过建立双通道人群计数网络模型，以及通过双路径流的RGB图像充分利用帧间信息和输入对鸟瞰人群下分析人与背景的关系，判断人群数量，属于图像识别计数技术领域，但主要研究的是空间上下文信息以及光流和帧差信息，未对空中视角的单张图像的人群计数方法进行深入研究。

发明内容

为了考虑空中视角人群计数具有较高的实时性需求，本发明提供一种基于强化学习图像亮度调节的空中视角人群计数方法，该方法不仅能基于图像信息对切割好的图像块作出使用原始分辨率还是降低分辨率的选择，而且能够对图像块进行亮度调节操作，然后对图像块处理后使用相对应的人群计数模型得到结果。

本发明的技术方案如下：

本发明首先提供了一种基于强化学习图像亮度调节的空中视角人群计数方法，其包括如下步骤：

1）获取已经进行标注的无人机人群计数数据集，对于其中的空中视角人群图像和标注进行图像块切割和降低分辨率预处理，得到原始分辨率图像块的数据集和低分辨率图像块的数据集；

2）分别用原始分辨率图像块的数据集和低分辨率图像块的数据集训练机器学习人群计数模型，得到原始人群计数模型和粗糙人群计数模型；

3）构建和训练强化策略网络模型，所述强化策略网络模型的输出为是否使用低分辨率图像块，以及低分辨率图像块需要增减的亮度值；

4）对于待处理的无人机实时图像，进行图像块切割和降低分辨率预处理，利用步骤3）训练得到的强化策略网络模型选取对应分辨率的图像块并进行亮度值的调整，其中将选择原始分辨率的每个图像块，使用步骤2）已经训练好的原始人群计数模型得到该图像块的人群计数结果；将选择低分辨率的每个图像块，使用步骤2）已经训练好的粗糙人群计数模型得到该图像块的人群计数结果，最终得到整张图像的人群计数结果。

作为本发明的优选方案，步骤1）中所述的对于其中的空中视角人群图像和标注进行图像块切割和降低分辨率预处理，包括如下步骤：

1.1）将空中视角人群图像均分为n²个图像块，得到原始分辨率图像块，并将每张图像对应的真值标注映射到切割后的图像块上，得到原始分辨率图像块的标注，即每个图像块可以得到对应的一个标注文件；原始分辨率图像块和其标注构成原始分辨率图像块的数据集；其中n为大于等于2的整数；

1.2）对原始分辨率图像块的数据集，做降低分辨率处理，得到低分辨率图像块的数据集。

作为本发明的优选方案，所述步骤1.2）中，降低分辨率的倍数由预先设定。