[发明专利]对于三维模型的图像风格迁移

摘要

本公开的示例方面针对的是对于三维模型执行图像风格迁移的系统和方法。在一些实现方式中，系统和方法可使用例如卷积神经网络之类的机器学习模型来生成用于执行风格迁移的图像风格和内容信息。本公开的系统和方法可在渲染图像空间中操作。具体地，一种计算系统可基于在多次迭代的每一者从模型的不同渲染收集的信息来迭代地修改属性渲染贴图(例如纹理贴图、凹凸贴图等等)，最终结果是属性渲染贴图以保留内容的方式模仿一个或多个参考图像的风格。在一些实现方式中，每次迭代的风格损耗的计算可利用多视点平均场景统计来执行，而不是独立地对待每个视点。

主权项

1.一种计算机实现的方法，该方法包括：由一个或多个计算设备获得一个或多个参考图像和描述三维模型的数据；由所述一个或多个计算设备为所述一个或多个参考图像确定一个或多个参考图像统计；并且对于多个迭代的每一者：由所述一个或多个计算设备利用当前属性渲染贴图从当前视点渲染所述三维模型的当前图像，其中所述当前属性渲染贴图分别为所述三维模型的多个位置提供多个属性值；由所述一个或多个计算设备为利用所述当前属性渲染贴图从所述当前视点渲染的所述三维模型的当前图像确定一个或多个当前图像统计；由所述一个或多个计算设备至少部分基于为所述当前图像确定的所述一个或多个当前图像统计来更新一个或多个平均图像统计；由所述一个或多个计算设备对损耗函数求值，所述损耗函数求得所述一个或多个参考图像统计与所述一个或多个平均图像统计之间的差异；并且由所述一个或多个计算设备至少部分基于所述损耗函数的梯度来修改所述当前属性渲染贴图。