[发明专利]一种面向平安城市视频监控应用的多示例多标签学习方法

说明书

本发明公开了一种面向平安城市视频监控应用的多示例多标签的学习方法，本发明获取平安城市视频监控的多示例多标签数据集，挖掘这些多示例数据和多标签数据间的内在联系就可以对新的视频监控进行预测，从而判断新视频监控所在区域隐含的可能多发的治安和交通状况；本发明主要做出了两个方面的贡献，一是首次采用分层标签的策略解决标签种类众多的问题，实现了既保留了多标签的完整性又不损失标签之间关联信息的目标，二是首次将卷积神经网络引入平安城市视频监控网络，利用了卷积神经网络的优势，对示例之间的关联性进行了充分深层学习，充分挖掘了示例之间的信息。

技术领域

本发明属于计算机科学和多示例多标签学习技术领域，涉及一种面向平安城市视频监控应用的多示例多标签的学习方法。

背景技术

构建平安城市是建设和谐社会的首要目标，实现城市交通和治安管理的完善是构建平安城市的重中之重，当前构建平安城市依然有许多问题，尚有许多可以改进的地方，如视频监控网络。现今城市视频监控网络已经成为城市管理的重要工具，然而众多的视频数据无标签，零散混乱，管理者无法从这些数据中知道城市的哪些地方交通需疏导，哪些地方治安需整治，这些本可以通过数据挖掘得到的信息却无从获取。管理者无法从数据中获取需要集中管理的区域，更加无法获取数据中的隐藏信息和关联信息从而对一些危险或动乱防患于未然，造成的结果是浪费了大量视频信息资源，也不利于城市管理和平安城市的建设，若能对城市视频监控网络信息合理处理分析利用，城市的治安和交通状况还有很大提升空间。然而目前这一领域无人涉足，没有直接可借鉴的解决方案。一个简单的解决方案是使用大量人工打标签的方式对视频信息进行处理分析，而完成这些数据的处理人工整理难度大，且数据更新快，数据量庞大，需要大量的人力物力，并且人工标记易出错，人和人之间的思维也不一致，对同一个问题可能打出不同的标签，因此人工整理无可操作性。因此合理的解决方案是使用机器自动标注的方式，既可以避免人工出错的可能性，也解放了人力物力的限制，并且随着技术和算法的进步自动标注的准确性将稳步提升。

挖掘视频数据信息一个合理自然的思路是对城市视频监控中大量视频进行人工打标签，标签的种类包括城市交通和治安的各种情形，然后对这些匹配好的数据进行训练，得到视频数据和标签之间的关联，然后对未打标签的视频数据通过这些关联关系得到其标签，从而实现打标签的目的。然而这样做的过程中会遇到两个问题，第一，视频数据信息零散混乱，图像可以使用像素作为输入进行学习，然而视频数据若用像素作为输入学习，数据的存储和计算将是巨大的挑战，并且难以抓取真正有效的信息，因此需要寻找有效的且数量有限的特征，第二，视频数据即使不转化为像素处理，也必然具备众多特征，而标签的种类也不会是单一的，视频数据的特征和视频数据的标签的关联关系是多对多的关系，一对一的问题可以使用普通的监督学习解决，多对一的问题可以使用神经网络解决，然而多对多的问题无法直接解决。

对于第一个问题，视频数据的像素特征无法利用，一个较合理的做法是使用图像处理技术进行视频信息提取，利用目标跟踪提取技术提取到大量的高层信息，而不再局限于像素这样的底层信息，而这些高层信息包括视频中可以提取到的实物信息如斑马线、树木等，也包括一些统计信息，如车流量、人流量等，目前的目标提取技术已经比较成熟，足以解决这个问题，并且每个摄像头提取到信息都是不同的，特征足够多的情况下，足以作为视频监控的特征进行分类打标签。对于第二个问题，一个可能的解决方案是标签分拆，将每个视频的多标签问题转化为单标签问题，具体方案是每个视频每次只学习一个标签，然后将所有学习到的单标签合并作为此视频的所有标签。这样强行分离标签的做法是可行且简单高效的，然而却丢失了标签之间的关联性，造成了大量信息丢失，学习效果不佳，有些标签和标签之间有很强的关联关系，容易通过标签学习得到，却难以通过视频特征得到，因此这样的退化策略可能造成某些重要的关联关系无法提取，某些标签无法学习到。因此传统的监督学习和神经网络算法不适用于平安城市视频监控打标签的问题，必须使用更合适的方法解决，而目前在这个领域还没有任何研究成果可以参考，只能借鉴其他领域比较成功的案例。