[发明专利]用于处理视频场景的方法和对应设备

说明书

技术领域

本公开涉及视频处理的领域，并且更具体地涉及电影中的对象或产品的放置或替换的领域。

背景技术

电影产业正显示出增长趋势，即电影中的产品放置，因为它提供新的商业和新的收入来源。该产品放置可以是例如在电影中放置主要品牌的苏打水的瓶子。该操作还可以在于用其他瓶子替换电影的场景中的所有瓶子。例如，可以用水或苏打水的瓶子来替换所有酒瓶。

在使用单摄像机捕获或2D拍摄的电影产业中，通常在拍摄发生之前在视频场景中进行一次对象放置。通过后处理方法，稍后替换或添加想要的对象也是可能的，但是考虑到它可能导致的潜在成本，这是相当有挑战性的，尤其对于在遍及整个电影的众多视频场景中放置对象。

发明内容

本公开提出一种用于用要放置的对象来替换来自视频场景的对象的新方法。该方法提出对视频场景进行3D获取，并且用与具有与要替换的对象基本共同的3D特征的产品相对应的替代对象来替换视频场景的对象。它允许使隐藏表面或遮挡的出现最小化。

更具体地说，本公开涉及一种用于处理场景的视频的方法，该方法包括：

-接收场景的3D表示，

-到所述3D表示中确定至少一个候选对象，所述至少一个候选对象包括3D点云，

-计算用于至少一个候选对象的至少一个标准的值，

-计算至少一个候选对象的签名，所述签名表示所述至少一个候选对象的3D特征，

-确定要移除的对象和来自库的多个候选替代对象的替代对象，每个候选替代对象具有签名，所述确定基于签名的比较并且基于候选对象标准值，以及

-到所述视频场景中用所述替代对象来替换要移除的对象。

在具体实施例中，由用户确定用于至少一个候选对象的至少一个标准的值。

有利地，所述至少一个标准选自：

-其在场景的视频中的地理位置；

-其到场景的视频的前景中的定位；

-其在视频场景中的可见性持续时间。

这些标准的目的在于在替换步骤之后改进替代对象在最后场景中的可见性。

在具体实施例中，该库包括被分类为对象族的多个候选替代对象，并且在属于至少一个所选对象族的候选替代对象之中确定替代对象。

在具体实施例中，由用户选择所选对象族。

在具体实施例中，每个对象的签名包括称为几何特征的表示对象的几何形状的3D特征，和/或称为视点特征的表示对象的视点的3D特征。

在具体实施例中，对象的签名是以下直方图的组之中的至少一个直方图：

-视点特征直方图或VFH；

-聚类视点特征直方图或CVFH；

-点特征直方图或PFH；

-快速点特征直方图或FPFH。

在具体实施例中，通过以下步骤确定替代对象：

-比较候选对象的签名和该库的候选替代对象的签名，以及

-根据相似性标准，识别具有与候选对象的签名相同或接近的签名的该库的候选替代对象，该替代对象是该库的所识别的候选替代对象。

在另一实施例中，从多个候选替代对象的组合中生成替代对象。更具体地说，通过以下步骤生成替代对象：

-比较候选对象的签名和该库的候选替代对象的签名，以及

-根据相似性标准，识别具有与候选对象的签名接近的签名的该库的多个候选替代对象，该替代对象是该库的多个所识别的候选替代对象的组合。

在具体实施例中，该方法还包括在将它们与候选对象的签名比较之前计算该库的候选替代对象的签名的步骤。

在变型中，该库的候选替代对象的签名被预先计算并存储在库中。

在具体实施例中，在计算候选对象的签名和该库的候选替代对象的签名之前，该方法还包括用于对候选对象和/或该库的候选替代对象进行过滤的步骤，以便候选对象和该库的候选替代对象具有基本相同的点密度。

本公开还涉及一种用于处理场景的视频的设备，该设备包括：

-被配置用于接收场景的3D表示的接口，以及