[发明专利]用于处理图像的图像处理系统及方法

说明书

本发明公开了用于处理图像的图像处理系统和方法。本发明通过分割图像的人体肖像区域对图像进行处理。本发明使用分层混合损失模块来对肖像区域进行掩模来生成经掩模的肖像区域。本发明还使用数据学习掩模肖像区域。

技术领域

本发明一般涉及用于处理图像的肖像区域的系统和方法。更具体地，本发明旨在分割图像的人体肖像区域。

背景技术

人体肖像分割技术应用于电影行业、在线教育、娱乐等领域。传统上，该任务是通过绿屏技术实现的，需要昂贵的设备和特定的环境。大多数分割方法依靠前景和背景之间的色差来实现背景消除。当色差不明显时，这些方法的结果就不太稳定。

转让给HTC公司的已授权美国专利9,807,316公开了一种技术，涉及根据自适应模型掩模从由第一相机拍摄的图像中提取对象。此外，该专利还公开了根据姿态数据POS和基于相机和前景对象之间的相对运动的自适应模型掩模。尽管该过程提供了三层掩模用于分割，但仍然做不到对整个肖像区域进行精确分割以及对图像中肖像区域进行中心对齐。

另一项转让给香港中文大学的专利申请WO2009109127公开了一种技术，涉及人体特征识别系统，该系统包括面部检测模块、人体分割模块和边界抠图模块，其中面部检测模块在混合级联结构上使用了主动提升程序和惰性提升程序。尽管该发明是对先前专利的改进，因为它包括一种语义对象提取技术，可用于数字视频处理、模式识别和计算机视觉，然而，该发明未能实现成本有效且精确地从图像中分割肖像。

另一项转让给清华大学的专利申请CN110689542提供了一种基于多级卷积神经网络的人体图像分割处理技术。尽管该发明是对先前发明的改进，以准确有效地实时划分肖像，然而，该专利仍缺乏通过简单工具进行肖像分割的能力，而是使用高科技和昂贵的工具进行分割。

因此，为了克服现有技术的缺点，例如在处理具有挑战性的人体成分(例如头发和手)时，需要提供分层混合损失而不是传统的分割损失。最后，为定制人体肖像分割应用，降低学习空间维数，创新了独特的数据增强策略，使训练数据分布均匀，性能更稳定，收敛速度更快。鉴于前述发明，本领域需要一种系统来克服或减轻前述现有技术的缺点。

很明显，目前在现有技术中开发了许多适合各种目的的方法和系统。此外，即使这些发明可能因此适合于它们所针对的特定目的，它们也不适合于如前所述的本发明的目的。因此，需要一种先进的图像处理系统来识别图像中的人体肖像并进行分割，然后将图像中的对齐肖像输出。

发明内容

本发明利用低成本神经网络来预测对象分割。本发明包括一种跳跃(skip)融合连接网络结构，它使用较少的隐藏层参数并大大降低了计算成本。

新兴且快速发展的智能移动设备的使用，使人们能够在一次点击距离内体验到更便捷、更智能的生活方式。不同于传统笨重的PC甚至笔记本电脑，智能手机以其超强的便携性和超强的计算能力成为了我们日常的得力助手。人们使用智能手机进行商务会议、订餐、购买电影票。

除了基本的和被动的交互之外，人们现在期望与设备进行更深入的沟通，这迫使它具有更加智能的装备。得益于强大的深度学习技术，智能设备能够更好地理解世界。由于此类设备将经常与人类用户交互，因此对人体属性或行为的理解非常重要。

语义分割作为必不可少的基本功能，可以通过机器的语义级智能，以像素级的精度提供感兴趣对象在图像中的位置。它为摄影美化、AR、VR等商业应用方面的进一步处理和改进铺平了道路。然而，如何在边缘计算芯片上提供高质量和鲁棒的语义分割掩模，同时降低计算复杂度是非常具有挑战性的。

在深度神经网络盛行之前，希望实现人体肖像分割的研究人员需要手动提取肤色、体型、面部特征等特征，然后将这些发送到设计好的分类器(如Adaboost)中。这些方法通常存在泛化不足的问题。它们对外部噪声很脆弱，例如光照变化、身体形状变形、甚至运动模糊。