[发明专利]基于渲染时间估计和LOD选择的实时渲染方法、系统及设备

说明书

本发明公开了一种基于渲染时间估计和LOD选择的实时渲染方法、系统及设备，属于计算机图形学领域。本发明先根据终端设备获取预先训练的渲染时间预估网络。然后对于场景中的每一个物体，一方面根据其在不同细节层次下的复杂度元信息以及在上一场景帧中的预估渲染时间与实际渲染时间，使用渲染时间预估网络估计其渲染时间；另一方面根据该物体距离视点的距离、在最终渲染图像上的面积占比以及该物体的相对复杂度估计不同LOD下该物体的渲染收益。最后综合考虑渲染成本和收益，在总渲染时间满足实时渲染要求的条件下，为每个物体分别设定一个细节层次LOD，使得总体的渲染收益最大。本发明可以综合提高实时渲染的效率和质量。

技术领域

本发明属于计算机图形学领域，具体涉及计算机图形学中的实时渲染和LOD选择方法。

背景技术

实时渲染是计算机图形学中的一个热门领域，对于渲染可互动的虚拟场景、游戏引擎的开发尤其重要。实时渲染系统需要保持稳定的帧率，即实时渲染系统要在指定时间内完成图形渲染。指定的时间用尽，实时渲染系统必须立即停止处理。使用不同细节层次的模型是实现实时渲染的一种方法。实时渲染算法可以分为两种：预测型算法根据给定的帧率为场景中的每个对象分配细节层次；反应型算法根据上一帧的渲染时间为每个对象分配细节层次。

在计算机图形学中，细节层次(Level of Detail，LOD)是指三维模型的复杂程度。其基本思想是对于远离视点或者移动较快的物体，使用简化版的三维模型。因为它对渲染图像的贡献较小，简化版看起来与更详细的版本大致相同。通过这种方式，LOD技术可以通过减少图形流水线的工作量来提高渲染效率。LOD算法一般由生成、选择和切换三大部分组成。首先，通过三维模型简化算法或者人工简化获得同一个对象不同细节层次的三维模型。随后，根据场景中物体的重要程度(如该物体在渲染图像上的区域面积等)为每一个物体选定一个合适的细节层次。一个良好的细节层次选择算法一方面可以很大程度上减少场景渲染所需的工作量，提升渲染效率；另一方面可以保证图像的渲染质量，即低细节模型不会影响图像的观感。最后，当细节层次选择算法决定改变一个物体的细节层次，层次切换算法负责替换不同细节层次的模型，同时保证渲染生成的图片不会发生突兀的变化。但是在实时渲染过程中如何决定场景中的不同物体选择何种LOD进行渲染，是保证渲染效率和渲染质量的关键。

随着机器学习的不断成熟，机器学习模型可以被引入LOD算法中，来辅助决定场景中不同物体的LOD分配。在机器学习领域，序列回归模型用来拟合具有序列关系(时序或一维空间序列)的一系列实值数据，如气温变化、运动轨迹等。循环神经网络常被用来解决序列回归问题。循环神经网络在每个步骤都有输出，并且隐藏单元之间有循环连接的循环网络。这种循环迭代的设计使得循环神经网络可以处理任意离散数目的输入，并产生对应数目的输出。不同步骤中神经网络的参数是共享的，以更好的利用序列输入中的不变性特征，同时减少网络参数。循环神经网络隐藏层的特征可以视作当前步骤系统状态的一个有效表征(如当前的天气状况、物体的运动状态)。但是，如何在LOD算法中涉及合理的机器学习模型，进而平衡实时渲染过程中的渲染效率和渲染质量，是目前亟待解决的技术问题。

发明内容

本发明的目的是解决现有技术中存在的问题，并提供一种基于渲染时间估计和LOD选择的实时渲染方法、系统及设备，为虚拟场景中的每一个物体动态分配LOD，实现高效的实时渲染。

为了实现上述发明目的，本发明具体采用的技术方案如下：

第一方面，本发明提供了一种基于渲染时间估计和LOD选择的实时渲染方法，其包括：

S1：获取针对执行渲染的目标终端设备的机型预先训练的渲染时间预估网络；所述渲染时间预估网络为基于门控循环单元和多层感知机的神经网络，能够根据物体在上一场景帧的预估渲染时间与实际渲染时间以及待渲染的三维模型复杂度元信息预测当前场景帧渲染该三维模型所需要的预估渲染时间；所述复杂度元信息包括三维模型的节点数、多边形面数、最小外包球体积、最小外包立方体体积、材质数目和材质质量；