[发明专利]从低清晰度视频产生高清晰度视频的系统与方法

说明书

本申请要求于2009年9月22日在韩国知识产权局提交的10-2009-0089503号韩国专利申请的优先权，该申请全部公开于此以资参考。

技术领域

一个或多个实施例涉及一种从低清晰度视频产生高清晰度视频的系统与方法，更具体地说，涉及一种利用轨迹估计和插值来产生高清晰度视频的系统与方法。

背景技术

从低清晰度视频到高清晰度视频的图像放大可能是图像设备的重要功能，也可以是在日常生活用品(如可携式摄像机)中或在专业领域(如天文学、保健等)中广泛应用的同样重要的元素。最近，应用图像放大的实例的数量已经增加，如当将从数码相机或可携式摄像机中获得的低清晰度视频变换为高清晰度视频时，在高清晰度显示装置中再产生低清晰度视频内容，或将高清晰度视频压缩为低清晰度视频，再将已压缩的低清晰度视频还原成高清晰度视频。因此，对从低清晰度视频获得高清晰度视频的图像放大的期望正在增大。

作为一个示例，可使用镜头组合来执行图像放大。然而，当使用这样的光学倍率方案来实施高放大倍率的放大时，这使得在体积、重量、成本等上有明显增加。为克服这些问题，可使用利用数字图像处理的图像放大方案。当使用这样的数字图像处理时，可使用半导体芯片来满意地执行图像放大，从而与光学放大倍率方案相比，表现出相对较低的成本。另外，当结合现有的光学倍率方案来使用图像放大时，可获得以高放大倍率而更有效地放大的图像。此外，在信号处理方面，利用与彼此不同数量级的图像，图像放大方案可被用于维持系统之间的兼容性，以及用于增加图像的分辨率或大小。图像放大方案可被用于减少与图像压缩关联的表达图像所需的数据量。

在信号处理或图像处理方面，图像放大方案可有若干种方法。在一种方法中，利用信号插值的图像放大方案可易被执行且实用。图像的插值可以是可扩大原始图像的离散像素之间的间隔，估计被扩大的间隔之间的值并将估计值插入被扩大的间隔中，以获得放大图像的效果的方案。在这种情况下，根据估计被扩大的间隔之间的值的方式，可确定图像放大方法，并根据已确定的图像放大方法，可改变放大的图像。

例如，图14示出传统的图像处理系统，其中，将视频序列的多个帧输入到多帧存储器，更具体地说，每一帧都需要单独的帧存储器，例如，当基于从10个先前帧的运动估计对当前帧内的像素进行插值时，在多帧存储器中就需要10个单独的帧存储器。多帧运动估计单元12对当前帧的每个像素或块相对于从所有先前帧的对应的像素或块的运动进行估计。例如，每个像素的运动估计可基于至少10个先前帧，需要10次基于每个先前帧的每个像素或块的单独的运动估计。通过检查所有先前帧的每个像素或块，可对每个像素或块进行运动估计，使得高分辨率插值单元14可执行对当前帧的像素或块的插值。

然而，这样的方法也需要大量的存储器和处理资源，从而引起增加的成本、延迟以及对在更大量的存储器和处理环境中完成图像转换的限制。正如，每个先前帧都需要单独的帧存储器，并且先前帧的每个像素或块都被存储在每个单独的帧存储器中。此外，由于依赖每个先前帧的运动估计的当前帧的每个像素或块都需要运动估计，所以需要大量的处理，也需要大量的时间。所以，由于这样的缺陷，一般不能在更多紧凑移动设备中实现这样的图像转换方法，并且一般也不能以实时方式执行这样的图像转换方法。因此，用于图像放大的当前图像处理方法存在大量缺陷。

发明内容

根据一个或多个实施例，提供了一种图像处理方法，包括：对当前帧的像素或块(包括与当前帧的特征区域对应的像素或块)执行轨迹估计，当先前帧的轨迹信息可用时，识别轨迹估计的像素；将轨迹估计的像素或块划分到特征区域并且根据每个当前帧的除轨迹估计的像素或块以外的像素或块的各自的空间谱，将当前帧的除轨迹估计的像素或块以外的像素或块逐一分别划分到特征区域和统一区域之一；将特征区域的特征区域像素或块与至少一个先前帧的特征区域像素或块进行匹配；将至少一个先前帧的匹配的特征区域像素或块和对应的轨迹估计的像素或块投射到比当前帧具有更高清晰度的高清晰度帧；基于匹配的特征区域像素或块和对应的轨迹估计的像素或块，以及基于统一区域的像素或块，对高清晰度帧的除投射的匹配的特征区域像素或块和对应的轨迹估计的像素或块以外的像素进行插值。