[发明专利]拍摄实体的图像处理方法、存储介质及系统

说明书

本申请公开了一种拍摄实体的图像处理方法、存储介质及系统。其中，该方法包括：对拍摄实体进行图像采集，得到拍摄数据；对拍摄数据进行稀疏重建，得到第一重建结果，其中，第一重建结果用于确定拍摄实体对应的重建范围；对第一重建结果进行几何重建，得到第二重建结果，其中，第二重建结果用于确定拍摄实体对应的三维网格模型；对第二重建结果进行颜色重建，得到拍摄实体在目标视角下的渲染展示结果。本申请解决了相关技术中对于拍摄实体进行实时渲染展示时的重建效率低、展示效果差的技术问题，能够在虚拟现实场景下实现对于拍摄实体的高保真渲染展示。

技术领域

本申请涉及计算机视觉技术领域，具体而言，涉及一种拍摄实体的图像处理方法、存储介质及系统。

背景技术

扩展现实(Extended Reality，XR)是指通过计算机将真实与虚拟相结合，从而打造一个可人机交互的虚拟环境。在XR应用中，对于与现实世界有着紧密联系的拍摄实体进行复刻展示具有重要研究意义。例如，通过对人、物和场景的实时渲染展示，可以给用户提供商品或者展品最直观的感知，该渲染展示过程具有普遍的意义。相关技术中基于人工建模贴图的展示方案，难以高保真地还原拍摄实体本身，而一些基于神经网络和体渲染的络自动化的算法则难以在常见设备上比如手机上进行实时渲染展示，另外一些基于神经网络和多面体的自动化算法虽然可以加快渲染速度，但是由于采用叠加多面体的原因，并不适合做常见的图形应用，因此相关技术中对人、物和场景等拍摄实体进行实时渲染后的展示效果较差。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种拍摄实体的图像处理方法、存储介质及系统，以至少解决相关技术中对于拍摄实体进行实时渲染展示时的重建效率低、展示效果差的技术问题。

根据本申请实施例的一个方面，提供了一种拍摄实体的图像处理方法，包括：对拍摄实体进行图像采集，得到拍摄数据；对拍摄数据进行稀疏重建，得到第一重建结果，其中，第一重建结果用于确定拍摄实体对应的重建范围；对第一重建结果进行几何重建，得到第二重建结果，其中，第二重建结果用于确定拍摄实体对应的三维网格模型；对第二重建结果进行颜色重建，得到拍摄实体在目标视角下的渲染展示结果。

根据本申请实施例的另一方面，还提供了一种拍摄实体的图像处理方法，包括：接收来自于客户端的拍摄数据，其中，拍摄数据通过对拍摄实体进行图像采集得到；对拍摄数据进行稀疏重建以得到第一重建结果，对第一重建结果进行几何重建以得到第二重建结果，以及对第二重建结果进行颜色重建以得到拍摄实体在目标视角下的渲染展示结果，其中，第一重建结果用于确定拍摄实体对应的重建范围，第二重建结果用于确定拍摄实体对应的三维网格模型；将渲染展示结果反馈至客户端。

根据本申请实施例的另一方面，还提供了一种拍摄实体的渲染展示方法，包括：在虚拟现实VR设备或增强现实AR设备的呈现画面上展示第一视角下的渲染展示结果，其中，渲染展示结果依次通过对拍摄数据进行稀疏重建以得到第一重建结果，对第一重建结果进行几何重建以得到第二重建结果，以及对第二重建结果进行颜色重建后得到，拍摄数据通过对拍摄实体进行图像采集得到，第一重建结果用于确定拍摄实体对应的重建范围，第二重建结果用于确定拍摄实体对应的三维网格模型；响应于接收到的视角切换指令，驱动VR设备或AR设备展示第二视角下的渲染展示结果。

根据本申请实施例的另一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的可执行程序，其中，在可执行程序运行时控制计算机可读存储介质所在设备执行本申请实施例中任意一项的拍摄实体的图像处理方法或本申请实施例中的拍摄实体的渲染展示方法。