[发明专利]丰富时间线和时间顺序文本描述定义的内容的方法和设备

说明书

技术领域

本发明总地涉及将元数据关联到多媒体内容，并且具体地涉及一种用于利用例如网络用户在社交网络或诸如网络论坛的其它用户生成的内容库上张贴的评论来丰富由时间线和由按时间顺序排列的文本描述定义的多媒体内容的方法和设备。

背景技术

本节旨在向读者介绍本领域的各个方面，这可能与下面所描述的和/或要求保护的本发明的各个方面相关。相信这种讨论在给读者提供背景信息以便于更好地理解本发明的各个方中是有帮助的。因此，应当理解，要从这个角度阅读这些陈述，而不是作为对现有技术的承认。

随着诸如TWITTER和YOUTUBE、以及其它网络论坛的社交网络和平台的发展，近些年对于由非专业作家（如电视用户）写作的关于多媒体内容（例如电影）的评论的文本分析已经取得了强烈的兴趣。

特别是，一些研究集中于用户评论与视频内容、特别是与所述视频内容的时间线的同步。

因而已知通过使用在实时事件期间通过社交网络生成的文本微张贴（如由于TWITTER平台的留言（tweet））来增强视听内容，通过使用微张贴的时间戳来直接完成同步。

此外，也已知允许用户观看视频内容，并同时张贴自动和自然地与视频内的时间相关联的评论的系统。

在这两种情况下，（如果已实现）评论与视听内容的时间线的同步是简单的，因为由于时间戳，评论已经具有时间码。

换句话说，这些现有技术允许将评论与多媒体内容的时间线同步，仅仅因为每个评论与时间信息（例如，文本微张贴在其对应的社交网络上被发送的时间）相关联，所述多媒体内容被同时播放。

然而，这些现有技术的缺点依赖于它们要求在播放多媒体内容期间写入评论，以便使每个评论的发出时间与多媒体内容的特定时间点相匹配的事实。此外，因为需要时间来写评论，其内容可能涉及多媒体内容的先前场景，而不是涉及所述评论最终与之相关联的场景。换句话说，同步表现为不准确的。

本发明试图补救前面提到的缺点的至少一些，并且特别是不使用任何时间码地将文本元数据与在特定时间点的多媒体内容在其对应的时间线中对齐。

发明内容

本发明涉及一种用于丰富由时间线和由按时间顺序排列的文本描述定义的多媒体内容的方法。

为此，该方法包括以下步骤：

-使用自然语言处理来至少在文本文档的部分中识别至少一个特征，

-自动将所述文本文档的确定部分对齐到语义对应于所述文本文档的确定部分的按时间顺序排列的文本描述的至少一部分，

使得至少将文本文档的该部分自动地与所述多媒体内容的时间线同步。

在本说明书中，应理解：

-文本文档表示由专业或非专业用户——尤其是，但不排他地，网络和/或电视用户——所写的任何类型的文本，诸如测评、评论、博客或论坛帖子、百科全书的文章、新闻文章等。显然，文本文档可以由字母数字字符组成，

-作者是写出这样的文本文档的人（例如网络用户、电视用户等），

-多媒体内容可能对应于视听文档（例如电影、体育赛事、无线电节目等），

-按时间顺序排列的文本描述对应于按时间顺序描述多媒体内容的任何类型的文本文档。作为非限制性示例，这种按时间顺序排列的文本描述可以是电影脚本、足球比赛概述、电影字幕、电影音频描述脚本等，

-特征是在文本文档中提到、描述或评价的多媒体内容的特定元素，诸如具体的场景、事件或动作，电影的特定方面（命名实体、演员、导演、灯光等），或者具体场景中的特定方面。

此外，在下面的说明书中，假定多媒体内容和它的按时间顺序排列的文本描述已经由于已知技术对齐在一起，使得按时间顺序排列的文本描述直接和已经与所述多媒体内容的时间线同步。在一个变型中，这样的对齐可能在实施本发明之后进行。

因此，由于本发明，可以在文本文档和多媒体内容的按时间顺序排列的文本描述之间进行文本到文本的对齐，而无需使用时间码或时间信息。这种方法可能至少使文本文档的一段与多媒体内容的按时间顺序排列的文本描述的一个或几个对应部分对齐，以便在按时间顺序排列的文本描述内关联其所涉及的时间线的一个或几个时间点或时间间隔。

本发明的方法不打算将文本文档、或其部分，与所述多媒体内容直接匹配，而只是通过对应的按时间顺序排列的文本描述。

此外，应理解，单一文本文档中提到的特征可以涉及按时间顺序排列的文本描述中的几个不同的时间点或时间间隔。

此外，自然语言处理是计算机科学、人工智能和与计算机和人类（自然）语言之间的交互有关的语言学的领域。因此，NLP与人机交互的领域有关。