[发明专利]用于重新构造并且编码视频信号的方法和装置

说明书

技术领域

本发明涉及用于重新构造和编码原始视频信号的方法和装置，其中，适配重新构造窗口位置和/或尺寸，以减小重新构造后的视频信号的编码成本。

背景技术

重新构造用于调整图像或者视频内容的尺寸，以例如在具有不同的纵横比的显示器上以给定纵横比显示视频信号。例如，高清（HD）视频内容可能不充分适用于小型便携式设备上的显示器。

EP1748385A2公开基于人类视觉注意模型的动态重新构造，其中，适当修剪源视频内容以保持兴趣区域。输出信号可以被编码并且被经由网络发送。

C.Chamaret、O.LeMeur的《Attention-based video reframing:validation using eye-tracking》（19th International Conference on Pattern Recognition ICPR’08，2008年12月8-11日，坦帕，佛罗里达州，美国）也描述重新构造应用。

O.LeMeur、P.LeCallet和D.Barba的《Predicting visual fixations on video based on low-level visual features》（Vision Research，vol.47，no.19，第2483-2498页,2007年9月）描述基于视觉注意力模型的动态显著图的计算。

发明内容

显然没有已知的重新构造处理解决输出修剪后和编码后的视频信号的比特率和失真。例如，修剪窗口可以在不需要考虑编码后的视频信号的编码复杂性的情况下跟踪兴趣区域。这能够导致多个缩放和去缩放、平移以及由此导致出现区域的高编码成本。当例如通过使用H.264/AVC编码器编码最终重新构造后的视频信号时，这能够导致比特率的增加和/或视频质量的降低。

要由本发明解决的问题是提供视频源信号重新构造，其中，修剪窗口位置和尺寸考虑包含该修剪后的窗口的编码后的输出视频信号的速率/失真。由权利要求1中公开的方法解决这个问题。在权利要求2中公开利用这个方法的装置。

根据本发明，约束修剪窗口参数（随时间的位置和尺寸），以优化编码后的输出信号的速率/失真。通过考虑视频编码上下文并且然后在编码重新构造后的视频序列的情况下考虑引起的编码效率成本改进初始重新构造。

原则上，本发明的方法适用于重新构造原始视频信号并且随后编码重新构造后的视频信号，所述方法包括以下步骤：

-计算用于所述原始视频信号的当前画面的显著图，所述显著图代表用户注意力图；

-提供所述原始视频信号的所述当前画面的宏块编码效率成本图，并且组合所述显著图和所述宏块编码效率成本图；

-选择所述原始视频信号的所述当前画面内的候选重新构造窗口尺寸和位置；

-通过使用所述显著图或者所组合的显著和宏块编码效率成本图，在所述原始视频信号中确定重新构造窗口的不同位置和/或尺寸，对于该不同位置和/或尺寸的所述重新构造后的视频信号的编码成本小于所述候选重新构造窗口尺寸和位置的编码成本；

-编码所述对应重新构造后的视频信号。

原则上，本发明的装置适用于重新构造原始视频信号并且随后编码重新构造后的视频信号，所述装置包括：

-适配为计算用于所述原始视频信号的当前画面的显著图并且提供所述当前画面的宏块编码效率成本图并组合所述显著图和所述宏块编码效率成本图的部件，所述显著图代表用户注意力图；

-适配为选择所述原始视频信号的所述当前画面内的候选重新构造窗口尺寸和位置并且通过使用所述显著图或者所组合的显著和宏块编码效率成本图在所述原始视频信号中确定重新构造窗口的不同位置和/或尺寸的部件，对于该不同位置和/或尺寸的所述重新构造后的视频信号的编码成本小于所述候选重新构造窗口尺寸和位置的编码成本；

-用于所述对应重新构造后的视频信号的编码部件。

在各个从属权利要求中公开本发明的更多的有利实施例。

附图说明

参考附图描述本发明的示例性实施例，附图示出：

图1是本发明处理的总框图；

图2是根据本发明的重新构造处理；

图3是修剪窗口的各向异性延伸；

图4是基于宏块成本图的各向异性延伸；

图5是若干修剪窗口之间关于它们的编码成本Ci的选取；

图6是优化用于视频编码的修剪窗口移位。

具体实施方式