[发明专利]用于富于表情的化身的实时动画

说明书

技术领域

本发明涉及体感技术，尤其涉及用于为个性化的卡通化身提供实时动画的技术。

背景技术

化身是用类似卡通的图像中的人或具有人类特性的其它类型的人物的表示。计算机图形将化身呈现为二维图标或三维模型，这取决于应用场景或提供输出的计算设备。计算机图形和动画在计算设备的显示器上创建移动的化身图像。使用化身的应用程序包括社交网络、即时消息收发程序、视频、游戏等等。在一些应用程序中，化身通过使用重复重放的多个图像的序列来动画化。在诸如即时消息收发程序之类的另一示例中，化身表示用户并且在用户在聊天窗口中输入文本时朗读。

在这些和其他应用程序中的某一些中，用户通过使用文本表情注释(即，“smilies(微笑)”)来将心情传达给另一用户。表情图释是文本表达式(例如，:-))，而“smilies”是人脸(例如，)的表示。表情图释和smilies表示用户在交流期间的心情或脸部表情。表情图释向响应者警告语句的心情或性情，并且经常被用来改变和改进对纯文本的解释。

然而，对于能够使用表情图释和smilies存在问题。许多时候，用户在另一用户已经阅读与所表达的情绪相关联的文本之后键入表情图释或smilies。另外，可能存在用户忘记键入表情图释或smilies的情况。因此，难以通过化身的smilies或文本来准确地传达用户的情绪。

发明内容

本发明内容描述基于实时语音输入来表达用户的情绪状态的化身(avatar)。该化身用与脸部特征、头和肩的运动同步的逼真脸部表情来显示情绪状态。

在一种实现中，一过程基于语音和运动数据来训练一个或多个动画模型以提供一个或多个上身部分的概率运动集。该过程将一个或多个情绪状态的预定短语链接到一个或多个动画模型。然后，该过程从用户接收实时语音输入，并基于在上下文中与实时语音输入匹配的一个或多个预定短语标识用户的情绪状态。然后，响应于实时语音输入，该过程可以通过应用一个或多个动画模型来生成一个或多个上身部分的运动的动画序列。

在另一种实现中，一过程基于语音和运动数据创建一个或多个动画模型以标识一个或多个上身部分的概率运动。该过程将一个或多个情绪状态的预定短语关联到一个或多个动画模型。

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限定所要求保护的主题的范围。

附图说明

参考以下的附图描述具体实施方式。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。

图1示出用于呈现富于表情的化身的示例体系结构。

图2是显示用于提供富于表情的化身以供图1体系结构使用的说明性短语的流程图。

图3是显示创建包括个人的动画表示在内的个性化化身的说明性过程的流程图。

图4是流程图显示创建和训练动画模型的说明性过程。

图5示出显示用于记录运动的脸上的标记的示例。

图6是显示响应于实时语音输入提供动画合成的序列的说明性过程的流程图。

图7是显示将三维(3D)运动迹线投影到二维(2D)卡通化身并提供个性化化身的实时动画的说明性过程的流程图。

图8示出用于记录2D运动的脸上的标记和化身所表达的各种情绪状态的示例。

图9是显示可与图1的体系结构一起使用的说明性服务器的框图。

具体实施方式

概览

本发明内容描述用于为各种应用程序提供富于表情的化身的体系结构和技术。举例来说，以下描述的技术可以允许用户在一些应用程序中将他或她自身表示成化身，这些应用程序例如聊天应用程序、游戏应用程序社交网络应用程序等等。此外，这些技术可以允许该化身用逼真的脸部表情、唇音同步和头运动来表达一系列情绪状态以便以更为交互的方式与另一用户通信。在一些实例中，所表达的情绪状态可以对应于由用户表达的情绪状态。例如，通过该化身，用户可以在将文本输入到应用程序时表达愉快的感受，作为响应，该化身的唇可以上翘以显示该化身的嘴在说话时微笑。通过以此方式动画该化身，查看该化身的其他用户很可能基于该化身的外观而据此做出响应。另外说明，该富于表情的化身能够向其他用户表示用户的心境，这可以得到更为丰富和交互性的通信。