[发明专利]后期同步信息流

说明书

本发明涉及后期同步信息流的一种方法，该信息流包括一个语音信号和一个图象信号，该方法包括步骤：执行翻译处理以获得至少一种翻译的语音信号。

本发明进一步涉及一种发射机用于发射包含至少一种翻译语音信号和一个图象信号的信息流。

本发明进一步涉及一种接收机用于接收信息流。

本发明进一步涉及一种通信系统包括：多个包括发射和接收信息流的装置的站，该信息流包括一个语音和一个图象信号；和一种通信网络用于链接所述站。

本发明进一步涉及一种信息流，包括一个图象信号和多个有关不同语言的语音信号和存储媒介。

后期同步信息流特别是在电影和电视节目领域中是公知的。后期同步意味着原有语音信号被通常是原有语音信号翻译的另一个语音信号所替代。这具有不懂原有语言的观众可以理解电影而不必读字幕的优点。可是口型不再对应语音信号使观众讨厌。

本发明的目的特别是为克服上述问题。为此，本发明第一方面提供一种方法，特征在于该方法包括步骤：跟踪所述图象信号以获得原有口型对象；用新的口型对象替代所述原有口型对象，所述新的口型对象对应所述翻译后语音信号。

通过面向对象的编码技术提供对跟踪和操纵口型对象的附属装置，例如MPEG-4。因为这种编码技术面向对象的特点，口型对象被看作可以被分开处理和操纵的分开对象。在称为“MPEG-4标准”的ISO/IEC文件JTC1/SC29/WG11/N2459(1998年10月亚特兰大市)中给出了MPEG-4标准的概述。其它信息可以在ISO/IEC文件JTC1/SC29/WG11/N2195(1998年3月东京)中找到，该文件描述了MPGE-4应用。MPEG-4是由MPEG(活动图象专家组)开发的一种ISO/IEC标准。该标准提供了使数字电视、交互式图象应用(合成内容)和交互式多媒体三个领域的生产、销售和内容访问模式综合在一起的标准化技术要素。MPEG-4提供了再现称为“媒体”对象的声音、图象或音像内容单元的方法。这些媒体对象可以是自然或合成的原有对象，这意味着它们可以利用摄象机或麦克风记录，或利用计算机生成。音像画面由几个媒体对象组成，例如声音和图象对象。MPEG-4定义了对象的编码表达式，例如合成面部对象和合成声音。MPEG-4提供区别画面的不同对象的工具。具体地，通过口型跟踪有可能记录作为单独对象的个人口型，所谓口型对象。该口型对象可以操纵。根据口型对象有可能基于口型模型提取描述口型的口型-参数。这种口型模型可以在当地存储，这使得仅仅通过发送对照口型参数形成口型成为可能。

按照本发明，原有口型对象被对应翻译后语音信号的新口型对象替代。以此方式，获得口型活动更好对应翻译后信号的图象信号。使翻译变得更自然，而且在理想情况下观众不会注意到信息流实际上是原有信息流的翻译。口型对象包括口型以及面部有关部分。

按照MPEG-4标准，媒体对象可以在给定的坐标系统中的任何地方放置。变换可以应用于改变媒体对象的几何或声音外表。流动数据可以应用于媒体对象以便修改它们的属性。基本流的同步是通过基本流内各个访问单位时间标记实现的。通常，新口型对象与翻译后语音信号同步。

在MPEG-4图象标准中的再现自然图象的工具目的在于提供用于多媒体环境允许有效存储、传输和操作纹理、图象和视频数据的标准化核心技术。这些工具允许对称为图象对象的图象和视频内容的最极微的单位进行解码和再现。图象对象的例子可以是正谈话的人或仅仅是其口型。

面是一个能随时可以表演和活动的面部几何图形的对象。脸部的形状、纹理和表现通常由包含面部定义参数(FDP)组和/或面部动画参数(FAP)组样本的比特流控制。基于帧和瞬时DCT编码的FAP大量集合能够用于精确语言清晰度。

可视语义位(viseme)和表达参数用于编码特定语音设计口型和说话人的语气。可视语义位是对应一个音位的一系列一个或几个脸部特征位置。一个音位是代表最短表达语音的特殊的语音单元。可视语义位实现可见发音清晰的口型的基本单位。一个可视语义位包括指定口开放、高度、宽度和伸出的口型参数。该标准的脸部动画部分允许发送校正和动画合成脸部的参数。这些模型自身不由MPEG-4标准化，而仅仅参数标准化。新口型对象总能够被操作以最好地配合视频信号。