[发明专利]一种基于表情识别的实时假面视频展示方法

说明书

技术领域

本发明涉及利用具有视频采集装置的智能设备，基于使用者的真实表情用假面进行实时视频聊天、视频直播、基于表情驱动的动画制作，使得使用者可以使用不同的假面进行聊天、直播，提升视频交互的趣味性；或者进行基于表情驱动的动画制作，大大提升动画制作的效率。

背景技术

基于智能设备的视频聊天、视频直播已经非常普遍，近来在人脸上添加各种趣味装饰的图聊软件，因其趣味性深受年轻人追捧，这类应用是在真人脸上贴图实现，其变脸的效果有限。本发明可以用各种假面替换真人形象，并实时同步真人面部表情，实现如动画片一样的社交互动效果。另一方面，现有的动画制作是设计人员通过专业工具制作整个动画情节，本发明可以基于真人视频中表情识别实现表情驱动的自动化动画制作，大大提升动画制作的效率。

发明内容

本发明采用的技术方案为：首先建立表情特征库E、假面库M；然后基于所述表情特征库E识别视频发送方视频中的人脸表情，获取当前帧的表情特征，并将该表情特征发送给视频接收方，视频接收方从所述假面库M中选择满足该表情特征的假面进行展示。本发明的技术方案总流程图如图1所示。

本发明提供了一种基于表情识别的实时假面视频交互方法，包括表情特征库E、假面库M、视频发送方S端与视频接收方R端，具体交互过程包含如下步骤：

(1)在所述视频发送方S端，初始化S端假面M_s；

(2)在所述视频发送方S端，将S端假面M_s的标识ID(M_s)发送给所述视频接收方R端；

(3)在所述视频发送方S端，获取当前帧f_current，检测到人脸k＝face(f_current)；

(4)在所述视频发送方S端，基于所述表情特征库E识别S端视频中人脸表情，获取k的表情特征e_k；

(5)在所述视频发送方S端，将表情特征e_k发送给所述视频接收方R端；

(6)在所述视频发送方S端，转步骤(3)；

(7)在所述视频接收方R端，接收S端假面M_s的标识ID(M_s)；

(8)在所述视频接收方R端，接收表情特征e_k；

(9)在所述视频接收方R端，从所述假面库M中选择并展示标识为ID(M_s)且满足表情特征e_k的假面M_s(e_k)；

(10)在所述视频接收方R端，转步骤(8)。

所述表情特征库E是一组定义不同表情的抽象特征表示。

所述假面库M是包含E中定义表情的不同假面的集合。

所述视频发送方S端和所述视频接收方R端，可以在同一个设备上，也可以是基于有线、无线网络进行通信的多个终端。

在所述视频接收方R端，从所述假面库M中选择并展示标识为ID(M_s)且满足表情特征e_k的假面M_s(e_k)，通过连续展示系列假面，从而实现实时假面视频交互。

本发明具有以下优点：

(1)视频交互双方可以自由选择不同的假面进行互动，提升视频交互的趣味性。

(2)可以基于真人表情驱动实现动画制作，大大提高动画制作的效率。

(3)由于视频交互中仅传递表情特征而非视频数据，对网络带宽的要求大大降低，可以在带宽有限的网络环境下实现基于真人表情的动画互动。

附图说明

图1是一种基于表情识别的实时假面视频展示方法的总流程图。

具体实施方式

下面结合附图，通过具体实施例来进一步阐述本发明。具体实施例仅用于说明本发明而不用于限制本发明要求保护的范围。

表情特征库E＝{E₁，E₂，...，E_n}，有n种表情特征。

假面库有m个假面形象，每个假面形象有n种表情，因此共有m×n个假面。

其中，ij为M_ij的标识，i＝1，2，...，m，j＝1，2，...，n。

参照图1，在步骤S1中，在S端，视频发送方选择自己想用的假面M_i，初始化S端假面M_s＝M_i；