[发明专利]实时数字修改代表原始图象的视频数据流的方法

说明书

本发明一般涉及数字图象处理，更确切地说，涉及用于修改实时视频数据流的系统和方法，该系统和方法通过删除部分原始图象并替换部分元素创建新图象而无需采用传统的蓝屏技术。

在动画和视频界，通常将两幅或多幅图象合并为一个场景。例如，可以将一幅气象员图象与另一幅气象图图象结合起来表示站在气象图前面的气象员。主要采用“蓝屏”处理实现以上组合图象技术，在蓝屏处理中，以纯蓝为背景拍摄一幅图象，并且以第二图象替换蓝色背景。可以电子或通过光学摄影技术实现以上替换。

人们对现有“蓝屏”处理进行了各种改进。美国专利No.4,968,132公开了一种产生阴阳遮片(matte)的移动遮片处理过程，该效果可以在计算机上逐帧替换或修改，同时该遮片可用于在常规电影摄制或视频记录中产生特殊效果而无需蓝屏背景。此外，在美国专利No.4,800,432中，一个视频差分键生成器具有一幅已存储的参考视频图象。利用绝对差分电路比较输入视频图象与参考视频图象，该绝对差分电路去掉两幅视频图象中不同的对应象素，即从较大的象素中去掉较小的象素，从而产生一幅差分视频图象。可以过滤以上差分视频图象，随后输入到转换函数电路以产生一个输出，该输出可以作为合成视频图象的关键信号。

如果能够实时执行以上费力费时的功能，如果视频帧的分析能够更好地理解各视频帧内的图象构成，并且如果还能完全避免使用蓝屏技术的话，则以上背景替换方法具有显著优势。

本发明简化了从视频图象中删除背景场景并利用备用背景替换以上背景的处理过程。可以使用简单PC计算机代替现有技术的复杂计算机系统。在本发明中，固定摄象机生成的一系列的视频帧(或一帧)被拍摄下来。这些图象和它们帧与帧之间的细微变化，诸如高度、颜色、阴影、微小的移动以及摄象机本身产生的正常偏差，都会从摄象机传送给计算机，在计算机中这些图象被软件以实时方式分析生成视频的数据描述。如同它是被计算机拍摄的。

随后使用已捕获视频的数学描述分析同一场景的新的视频分割，以便确定该场景是否发生任何变化。相对于原始数学描述而言，将落在预置容差之内的新视频元素称为背景。将落在预置容差以外的新视频元素称为前景，并且可以从背景中分离出来。对不同前景和背景视频元素的理解和分离使得能够修改新的视频流。

例如，可以将背景改变为一个全新图象，而保留前景不变。背景图象可任意为所希望的移动视频、位图或动画之一。

因此，无须采用蓝屏就能实现传统蓝屏处理的功能性。

因此，本发明的目的在于通过采用仅有软件的程序设计机制以实时方式从实况视频场景中删除背景图象，并且利用包含原始前景元素的备用背景图象以实时方式替换以上背景图象，其中仅有软件的程序设计机制采用实况视频场景元素的数学描述而并不采用传统的蓝屏处理。

因此，本发明涉及利用计算机系统以实时方式数字修改实况视频场景的方法，其中计算机系统具有一个存储器、一个可视显示器以及一个与计算机相连的固定摄象机，以便将来自摄象机的视频信号传送到计算机，并在计算机中形成经过修改的视频场景。这是通过以下处理完成的，首先以数字方式捕获并且以存储器的第一数据结构数学描述实况视频场景(以下称为“参考视图”)的一帧或几帧。接着，由计算机数字化并捕获实况视频场景的各后继帧，用软件数学描述各个新帧并存储在存储器的第二数据结构中。利用熟练技术人员可用的多种信噪处理算法以实时方式比较以上第一和第二数据结构，并且从最近捕获的帧中数学删除参考视图的背景图象。此外，在该阶段中，假定存储器第三数据结构中的不同背景图象的数学描述是可用的，如录制的视频、位图或动画，则可以将其代入第二数据结构代替已被删除的参考视图的背景图象，从而创建数字化帧的新的数学描述。最后，将该帧的数学描述转换回视频信号并在可视显示器上显示，或者传送到诸如视频会议参与者或捕获文件之类的任何适当目的。因此，以上处理的结果得到以下现象：原始视频场景(参考视图)中的任何前景元素现在被叠加到一个创建新图象的不同背景上。

结合以下最佳实施例的详细说明，本发明的上述特点和其他特点将会更加显示出来，其中相同数字表示相同元素，附图为：

图1(A)-(D)分别表示显示参考视图时的显示屏幕，显示数学删除参考视图后的黑色(空白)屏幕，检测到新前景元素的黑色屏幕，以及利用先前的前景视图代替参考视图形成新图象的置换视图；

图2概要表示获取图1所示屏幕的方式；