[发明专利]沉浸式互动全景全息剧院演出系统、方法及应用

说明书

本发明提供一种沉浸式互动全景全息剧院演出系统、方法及应用，该演出系统采用全息投影的方式在舞台上投影虚拟角色，设置实时动作捕捉装置实时捕捉动作捕捉演员的动作和表情，绑定动作捕捉人员和虚拟角色，从而使得虚拟角色可根据动作捕捉人员的变化而变化；且设置互动装置，动作捕捉演员可通过互动装置和观众进行互动，反馈为虚拟角色和观众的互动，达到真人和全息影像同台演出的效果。

技术领域

本发明涉及演出领域，特别涉及一种实现真人和全息影像同台演出，观众可沉浸式参与演出的沉浸式互动全景全息剧院演出系统、方法及应用。

背景技术

全息投影技术，是指利用干涉原理记录并再现物体真实的三维图像的技术，随着科幻电影与商业宣传的引导，全息投影的概念逐渐被应用到舞台表演/展览展示等场景中，可被用于展示特定的影像场景。

目前的全息投影在实际应用中的投影效果还是比较单一的，大多数情况下仅仅是在舞台上投影特定的影像场景，很难和其他舞台表演效果进行实时的融合，这样的投影效果形成的舞台场景缺乏纵深感，进而导致观众很难投入其中有真实感，甚至会因为突兀的全息投影影像影响其他舞台表演效果。

另外，全息投影的影像往往是预先设定好的，并不能和观众发生互动，也就是说，观众只能看到设计者预先设计到的全息影像，并不能和全息投影影像进行互动，这样的设计也限制了全息投影在话剧/舞台剧/儿童剧等场景剧中的应用，因为这样的场景剧需要舞台表演者根据表演的实时情况作出灵活的变动。

综上所述，虽然目前很多演出系统均应用有全息投影技术，但是均很难给观众营造沉浸式的观影效果。

发明内容

本发明的目的在于提供一种沉浸式互动全景全息剧场演出系统及方法，该演出系统为观众营造沉浸式的观影效果，该演出系统可达到真人和全息影像同台演出的效果，通过真人和全息的方式替代真人表演，减少舞蹈演员/舞美布景/群众演员的成本，且可将现有的舞台表演剧演出呈现为裸眼3d的效果，给观影者提供强烈的真实感/纵深感和魔幻感，且全息影像可与观众进行实时互动，提高观影效果。

为了实现以上任一发明目的，本发明一方面提供一种沉浸式互动全景全息剧院演出系统，置于演出场所，该演出场所包括舞台表演区、观众区以及动作捕捉区，包括：全景声装置，影像投影装置，实时动作捕捉装置以及互动装置；影像投影装置至少包括全息投影设备，背景投影设备以及视频处理设备，其中全息投影设备以及背景投影设备联通于视频处理设备得到投影影像，且全息投影设备以及背景投影设备均置于舞台表演区，背景投影设备置于全息投影设备远离观众区的一侧，并且和全息投影设备之间间隔一真人表演区，全息投影设备以全息投影技术投影至少一虚拟角色；其中全息投影设备包括置于地面的LED屏和倾斜设置于LED屏的全息膜，全息膜和LED屏倾斜45°，背景投影设备包括背投幕和背投投影机；实时动作捕捉装置至少包括设置有肢体传感器的动作捕捉服装，捕捉动作捕捉演员面部表演的面部捕捉设备以及渲染处理设备，渲染处理设备联通动作捕捉服装和面部捕捉设备，获取对应的肢体信号和面部表情信号；其中渲染处理设备绑定动作捕捉演员和虚拟角色，并实时渲染对应的肢体和面部表情，生成渲染视频信号，发送给视频处理设备，视频处理设备投射渲染视频信号至全息投影设备，全息投影虚拟角色；互动装置至少包括对应观众区设置的捕捉观众反应的观众摄像头以及置于动作捕捉区的监看器；以及全景声装置至少包括设置在演出场所的扩声器设备以及音频播放设备。

根据本发明的另一方面，本发明提供一沉浸式互动全景全息剧院，设置有如上所述的演出系统。