[发明专利]一种基于机器学习的AR拍照图像补光方法和系统

说明书

本发明提供一种基于机器学习的AR拍照图像补光方法，包括：获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图；采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练；响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到AR融合图；本发明提供的方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。

技术领域

本发明涉及拍照领域，特别是指一种基于机器学习的AR拍照图像补光方法和系统。

背景技术

随着VR(Virtual Reality)技术、AR(Augmented Reality)技术的发展，虚拟拍照系统可以满足人们的各种体验，将采集的人像与想要的背景很好的融合在一起。使由于时间、空间等一些因素的限制，导致一些人们想要留念的景、物、人不能重现的问题，可以借助虚拟拍照技术系统得以实现。

该技术能够利用各类传感器，结合数字图像处理技术，实现目标人像与任意背景的替换与融合，实现虚拟拍照功能。

但由于AR拍照设备通常放在不同的应用场所，场所不同的光照环境也会不同；现有AR设备在拍照时，没有智能地根据虚拟场景的光照环境对真实人物进行修饰，从而致使产出的目标人像与背景的融合图从视觉上看不真实或有违和感。

发明内容

本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于机器学习的AR拍照图像补光方法，通过机器学习得到图像补光模型，能够根据虚拟场景中背景图片对真实人物的图像进行补光，从而得到更为真实的融合图。

本发明采用如下技术方案：

一种基于机器学习的AR拍照图像补光方法，包括：

获取虚拟场景背景图片中的对应人物拍照区域，并获取所述拍照区域对应各像素点的亮度分布图，即背景拍照区域亮度分布图；

采集人物图样本集并进行数据增强，根据背景拍照区域亮度分布图调整人物图样本集中的各图片，得到对应补光后的人物图像；

将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型；

响应于人物显示在背景图片中的拍照区域，拍摄人物图，并输入到训练好的对应于背景图片的图像补光模型中，得到人物与背景的AR融合图。

具体地，所述基于全卷积神经网络构建的图像补光模型，具体包括：包括依次串联设置的第一卷积模块、第二卷积模块、第一双线性插值模块、第一残差块、第二双线性插值模块、第二残差块、第三双线性插值模块、第三残差块、第四双线性插值模块、第四残差块和第三卷积模块，其中，所述第一残差块、第二残差块、第三残差块和第四残差块均包含归一化模块；所述第一卷积模块的输入为人物样本图像，第三卷积模块的输出为对应补光后的人物图像。

具体地，采集人物图样本集并进行数据增强，其中，所述数据增强具体为：旋转、剪裁、翻转变换、缩放变换、平移变换和噪声扰动。

具体地，将人物图样本集和对应补光后的人物图像共同输入到基于全卷积神经网络构建的图像补光模型中，进行图像补光模型训练，得到训练好的图像补光模型，所述进行图像补光模型训练，具体为：

训练过程初始化，具体包括背光扩散模型参数初始化、优化器初始化、学习率初始化；

将人物图样本集和与对应补光后的人物图像共同输入到图像补光模型中；