[发明专利]媒体传输流中的触觉效果数据的同步

说明书

优先权

本申请要求以相同发明人的名义于2005年10月19日提交、 共同转让以及题为“Synchronization of Haptic Effect Data in a Media Transport Stream”的序号为60/728,551的美国临时专利申请的优先 权。

技术领域

本发明涉及触觉学领域。更具体地，本发明涉及在媒体传输流 中编码的触觉效果(haptic effect)。

背景技术

为了改进用户和机器之间的界面，近年来，将触觉效果连同音 频/视频媒体一起结合到该界面内已变得越来越普遍。诸如振动的触 觉效果可以被用户感知并且通常可与事件触发器(诸如压下装置上 的按键、或者播放铃音以通知手机上有来话呼叫或者收到文本信息 等)相关。通常，媒体的回放可以被补充有振动。然而，在播放触 觉信号以及媒体信号一段时间时，传统的实现媒体效果的方法存在 一些问题。

一种问题是需要在触觉信号和诸如视频和/或音频信号的其他 媒体信号之间同步回放。通常，音频引擎、视频引擎和触觉引擎在 不同的时钟上进行操作。通常，在回放触觉、视频、和音频信号过 程中不存在内置同步机构。例如，尽管在回放开始时，触觉信号和 媒体信号可能在彼此相差几毫秒内起动并因而被充分同步，但是这 些信号通常可能会在一段相当短的时间内偏离同步。

另一种问题在于，可能很难随机地存取在既具有媒体信号又具 有触觉信号的媒体传输流中的一个点。换句话说，当用户在任意点 处开始回放一部分媒体传输流而不存取出现在媒体传输流中的该 任意点之前的任何数据时，很难使触觉信号与媒体信号同步。

因而，需要一种提供使触觉信号与其他媒体(例如，音频和视 频)同步的机构的解决方案，该机构可以在既包含触觉信息又包含 媒体信息的媒体传输流中的任意点进行操作或者从任意点开始进 行操作。

发明内容

本发明披露了一种用于使触觉效果与其他媒体成分(即，视频 和音频)同步的方法和设备。因此，识别在媒体传输流中的一连串 帧中的触觉信息，并根据嵌入媒体传输流中的主时间码信号来确定 与该触觉信息相对应的时间戳。随后向包含触觉信息的每个媒体传 输流帧分配一个时间戳，以便在对应于该时间戳的适当时间启动执 行机构，从而根据触觉信息来生成触觉效果。

根据以下阐述的详细描述、附图和权利要求将显而易见本发明 的其他特征和优点。

附图说明

结合到说明书中并构成说明书一部分的附图示出了本发明的 一个或多个实施例，并且连同详细描述一起用于阐述本发明的原理 和实现。

在附图中：

图1是示出了根据本发明的一个实施例的用于编码、传送和解 码包括触觉信息的媒体传输流的系统的框图；

图2是示出了根据本发明的一个实施例的用于从媒体传输流中 识别出媒体和触觉成分的系统的框图；

图3是示出了根据本发明的一个实施例的用于使触觉成分与其 他媒体成分同步的装置的框图；

图4是示出了根据本发明的一个实施例的使视频、音频和触觉 信号的回放同步的方法的时序图；

图5是示出了根据本发明的一个实施例的被分解成连续帧的触 觉信号的示图；

图6是示出了根据本发明的一个实施例的包含触觉信息的触觉 帧的框图；

图7是示出了根据本发明的一个实施例的引起触觉效果的波形 的示图；以及

图8是示出了根据本发明的一个实施例的用于使触觉效果与媒 体成分同步的处理的流程图。

具体实施方式

本文中，在用于传送包括触觉信息的媒体传输流的方法、系统 和设备的上下文中描述了本发明的实施例。本领域的普通技术人员 会理解本发明的以下详细描述仅是示例性的而并不用于以任何方 式下进行限制。理解本披露的本领域技术人员将会容易地联想到本 发明的其他实施例。现在将详细参考附图所示的本发明的实施。贯 穿附图和以下的详细描述，使用相同的参考标号来表示相同或相似 的部件。