[发明专利]适用于观演空间的投影风格渲染方法及渲染系统

说明书

本发明涉及适用于观演空间的投影风格渲染方法及渲染系统，适用于舞台与观众席共同构成的观演空间，其渲染系统主要包含三个图像库，即真实素材库、风格图片库和交互素材库，通过风格迁移技术，分别将主背景和交互元素的风格图和内容图融合，形成风格化的主背景图像和交互元素图像，观演者可以通过手机等个人终端制作交互元素的风格图，形成具有观演者图像风格的交互元素图像，依据设定位置或运动轨迹插入主背景图像中，并以主背景图像中邻近区域的风格对交互元素图像的边缘区域或全部区域进行风格化，使得交互元素与主背景图像具有基本一致的风格。

技术领域

本发明涉及适用于观演空间的投影风格渲染方法及渲染系统，主要可用于舞台投影风格渲染，也适应于其他类似场合下的投影风格渲染。

背景技术

在现代技术背景下，有越来越多的技术手段应用于演艺领域，例如在舞台与观众席共同构成的观演空间，可以采用投影设施，根据舞台表演情节，将适应的背景素材呈现在投影墙或幕布上，形成丰富多彩的投影图像，这种舞台背景的表现力和感染力远远超过了以往的画幕和实物布景。

然而，随时消费水平的不断提高，人们已不再满足于被动地观演，希望能够参与到投影形成的场景中，一种可行的方式是将观影者制作的图像融合到投影图像中，使观演者直接参与到剧情创作中。

例如，可以依据图像融合技术和图像风格迁移技术，设置相应的应用程序，将观演者创作或选择的动态模型图像融合到投影图像中，观演者通过移动手机或平板电脑中等个人终端发送其创作或选择的动态模型图像至多终端输入绘画投影系统中，该系统将源自观演者个人终端的图像和背景库的图像融合后编排投影输出，并可以依据深度神经网络等现有技术实现对个人终端图像的风格化处理，通过个人终端设置动态模型图像的风格化程度，利用观演者终端的姿态控制控制动态模型图像在背景图像中的姿态和运动轨迹，使观演者的动态模型图像穿插于剧情中，增加使用者的参与感。

上述技术思路在一定程度上实现了观影者的参与，但依然有需要进一步研究解决的技术问题：例如，如何保证插入到背景图像中的交互图像（例如，动态模型图像）与背景画面整体风格的一致性，改善观影体验。

发明内容

本发明的目的是提供了适用于观演空间的投影风格渲染方法以及采用这种方法的投影风格渲染系统，以期在实现观演者参与的同时，使投影图像的整体风格一致，提高投影图像的质量。

本发明的技术方案是：一种适用于观演空间的投影风格渲染方法，包括下列步骤：

主背景图像生成：选取真实素材图像作为主背景内容图，选取风格图像作为主背景风格图进行风格迁移，实现主背景内容图和风格图像的融合，形成主背景图像，所述主背景图像的内容与相应的真实素材图像近似，风格与相应的风格图像相似；

交互元素图像生成：选取交互素材图像作为交互元素内容图，以源自互动参与者（观演者）的互动参与者图像作为交互元素风格图进行风格迁移，实现交互元素内容图和交互元素风格图的融合，形成交互元素图像（简称交互元素），所述交互元素图像的内容与相应的交互素材图像近似，风格与相应的互动参与者图像相似；

投影图像生成：依据设定的插入位置或运动轨迹，将交互元素图像插入到主背景图像中，以交互元素图像插入位置的邻近区域的主背景图像作为风格图对交互元素图像的全部区域或边缘区域进行风格迁移，使交互元素图像的全部区域或边缘区域的风格与邻近区域的主背景图像相似，形成风格统一的投影图像。

可以由互动参与者、或者由演出者、或者由程序依据预先设定的数值或规则确定主背景图像、交互元素图像和/或投影图像的风格化程度。

可以依据环境光状况设定和/或调节主背景图像的图像显示参数，例如，亮度、对比度、色温等。

所述风格迁移优选为基于卷积神经网络（例如，VGGNet或ResNet）的图像风格迁移，也可以采用其他现有技术。