[发明专利]混合现实光照一致性调整方法

说明书

本发明公开了混合现实光照一致性调整方法，包括以下步骤：设计、布置采样点并进行采集；将采样点坐标根据映射关系映射到虚拟场景中，并对各个采样点进行光照预计算处理；采集一帧视频，并将其中各个采样点数据转化为HSV模型，获得采样点HSV值；根据采样点与计算结果调节视频HSV值；将完成HSV调节的一帧视频画面转换为RGB模型，并作为动态纹理传入虚拟场景中，实现视频与虚拟场景合成；如果视频画面合成未完成，进入下一个帧循环，如果合成完成，释放资源，并退出。本发明使两种不同来源的画面的光亮度能够很好地统一，较好地解决了视频投射式混合现实中的这一关键性技术问题。

技术领域

本发明涉及混合现实技术领域，尤其涉及混合现实光照一致性调整方法。

背景技术

在视频透射式混合现实系统中，需要将现实世界的实时视频与虚拟空间的三维渲染场景进行混合。虚拟空间的光照条件是根据所仿真的环境进行预先设定，受系统控制。现实世界的光照则是由用户实际使用环境下的光照条件来确定的，不受系统控制。两种光照通常无法保持统一，造成混合现实环境中实时视频与三维渲染场景亮度的不一致性，带来明显的失真，严重影响视觉效果与真实感。

专利(申请号为CN202011064045.7)公开了一种视频穿透式混合现实方法、系统、可读存储介质及电子设备，所述方法包括以下步骤：获取真实摄像机坐标，并获取对应的虚拟摄像机坐标，获取二者的映射信息；获取虚拟世界坐标系，根据映射信息获得真实世界坐标系；对所述虚拟世界坐标系中的任一事物，分别获得所述虚拟世界坐标系的虚拟坐标点和所述真实世界坐标中的真实坐标点，将所述虚拟世界坐标系中的事物投影至所述混合现实眼镜的视野中，使所述视野中的所述事物位于所述真实坐标点处。虽然该专利可以根据真实摄像机坐标获得虚拟摄像机坐标和虚拟世界坐标系，再借助虚拟世界坐标系获得真实世界坐标系，但过程处理方法较为粗糙，现实世界的光照与虚拟空间的光照并不能很好地统一，真实感也有待提高。

发明内容

本发明的目的在于克服现有技术的不足，提供混合现实光照一致性调整方法。

本发明的目的是通过以下技术方案来实现的：

混合现实光照一致性调整方法，包括以下步骤：

步骤1：在所拍摄对象上选取n个亮度采样面片S1、S2…Sn；

步骤2：对各个采样面片进行处理，获得在当前虚拟场景的光照条件下这些采样面片表面应具有的颜色值，并转换成HSV模型的色调、饱和度、明度值；

步骤3：进入帧循环，摄像机拍摄一帧画面，传输到计算机中，重复步骤1和步骤2，将所获得的拍摄画面像素的颜色转换成HSV模型；

步骤4：从拍摄画面中识别出采样面片区域，并获得所拍摄的每个采样面片区域的色调、饱和度、明度均值；

步骤5：将步骤2获得的虚拟场景下采样面片的色调、饱和度、明度值与步骤4获得的采样面片区域的色调、饱和度、明度均值进行比较，得到偏差向量；如果偏差向量的模小于设定的阈值，保留该采样点；如果偏差向量的模大于设定的阈值，则对应的点被视为采样失败，抛弃该采样点；

步骤6：设保留的采样点数量为m；如果m＝0，则本帧计算失败，直接跳转步骤3；如果m0，则利用保留的m个采样点及视频画面的四个顶点进行Delaunay三角形构网，并设所构三角网中三角形的数量为t；

步骤7：调节步骤6所构成三角网中所有顶点的HSV值；完成t个三角形顶点HSV值的调节；

步骤8：采用双线性差值的方式完成对t个三角形内部像素HSV值的调节；

步骤9：将完成HSV调节的一帧视频画面转换为RGB模型，并作为动态纹理传入虚拟场景中；

步骤10：三维图形引擎将视频画面对应的动态纹理映射到虚拟场景中，完成实时渲染，实现虚拟场景与视频的合成。