[发明专利]一种基于Kinect和网络摄像机的动态人像合成方法

摘要

本发明涉及互动视讯领域，尤其涉及一种基于Kinect和网络摄像机的动态人像合成方法，采用Kinect体感设备对包含有人像的影像进行拍摄并产生深度信息，所述方法包括以下步骤S1影像分析；S2头部追踪；S3人像切割；S4视讯合成。与现有技术相比，本发明排除了动态影像进行影像切割所需的庞大运算时间，使用动态人像切割的方法，能让人像完整的表达，尤其是在头部的区域最为显著，切割好的人像经由边缘透明处理后，让人像能更佳的融合进视讯当中。

主权项

一种基于Kinect和网络摄像机的动态人像合成方法，采用Kinect体感设备对包含有人像的影像进行拍摄并产生深度信息，其特征在于，所述方法包括以下步骤：S1影像分析用trimap方法将深度信息分为前景、背景和不确定区域，所述前景为已知人像，所述背景为已知人像以外的场景，所述不确定区域为有可能是前景或是背景的未归类区域；S2头部追踪对已知人像的头部骨架进行追踪；S3人像切割对已知人像进行处理和切割，得到切割人像；S4视讯合成将切割人像与网络摄像机拍摄的影像进行合成；所述步骤S3包括以下步骤：S31校正使用SDK提供的MapDepthFrameToColorFrame方法进行左右视差的深度校正，让深度位置符合色彩位置；S32扩张对已知人像深度进行影像扩张，将深度间的空隙填满；S33修复利用头部追踪将在头部侦测范围内的不确定人像纳入到已知人像中进行头部的修复，得到修复人像；S34边缘透明化对修复人像的左、右、上的边缘进行边缘侦测，再将侦测到的边缘进行透明化；S35切割对边缘透明化的人像的边缘进行切割，得到切割人像；所述步骤S33中的头部侦测范围如公式(1)(2)所示：Distanceskeleton=Headm,Neckn‾Distanceipixel=Headm,Pixeli‾T=Distanceskeleton×0.6---(1)]]>if((Distanceipixel<T)and(Pixeli∈Unsureregion))then(Sureiregion=true)---(2)]]>在公式(1)中，Distanceskeleton为骨架距离，代表头部骨架点Headm到颈部骨架点Neckn的最短距离，为目前像素距离，是由头部骨架点Headm到目前运算像素点Pixeli的最短距离，m、n、i为各自的像素位置，T则为侦测头部区域的门槛值，为骨架距离的0.6倍，在公式(2)中，Unsureregion代表不确定区域，代表已知人像像素，当目前像素距离小于T时，并且目前像素位于不确定区域中，将其纳入到已知人像中；所述步骤S34的边缘侦测为先设定具有方向性递减的透明度矩阵，如公式(3)所示：Alphaleft=90c0e090c0e090c0e0Alpharight=e0c090e0c090e0c090Alphatop=909090c0c0c0e0e0e0---(3)]]>其中Alphaleft、Alpharight、Alphatop分别存有向左、向右、向上递减的透明度矩阵，数值为十六进制，当值为ff为完全不透明，值为00时为完全透明，将透明度矩阵分别套用在对应方向的边缘上，边缘侦测的方法如公式(4)(5)(6)所示：if((Pixel(i-6)~(i-1)∈Ortherregion)and(Pixeli∈Sureregion))then(Alphaleft(Pixelialpha))---(4)]]>if((Pixel((i-5)~i)∈Ortherregion)and(Pixeli-6∈Sureregion))then(Alpharight(Pixeli-6alpha))---(5)]]>if((Pixeli-(width×(1~5))∈Ortherregion)and(Pixeli∈Sureregion))then(Alphatop(Pixelialpha))---(6)]]>其中Ortherregion为非人像的其它区域，公式(4)是针对左方的边缘侦测，当运算经过连续5个以上的非人像像素后，目前的像素位于修复人像之中，则目前的像素视为左侧的边缘，以目前的像素透明度为中心，使用Alphaleft来进行边缘透明化，公式(5)是针对右方的边缘侦测，要不断地重新记录像素在修复人像区域之中的最新位置，当运算经过连续5个以上的非人像像素后，原先记录位于修复人像的像素位置则视为右侧边缘，使用Alpharight进行边缘透明化，公式(6)是针对上方的边缘侦测，其中width为彩色影像的数据宽度，当像素位于修复人像之中，而往上连续5个以上为非人像像素，则将目前像素视为上方边缘，使用Alphatop进行边缘透明化。