本发明提供一种基于光度图的几何与表面材质的重建方法,该方法包括如下步骤:(1)材质分割,构造初始化材质权重图,估计Diffuse Albedo。(2)估计表面法向量图。Alternating-Constrained-Least-Square方法迭代求解法向量和构建BRDF(bidirectional reflectance distribution function)材质基以法向量图为基础,通过解Poisson方程得到最小二乘的表面深度信息。本发明可以可靠的从一组已知光照条件的图片序列中,自动恢复出图中物体的不同材质区域、材质属性,以及表面深度信息,对其快速的进行三维重建。