[发明专利]直播互动方法、直播互动系统及直播设备

权利要求书

1.一种直播互动方法，应用于直播设备，其特征在于，所述方法包括：

获取主播视频图像，并从所述主播视频图像中提取多个人眼关键点，所述多个人眼关键点包括眼球关键点以及多个眼皮关键点；

根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息；

根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。

2.根据权利要求1所述的方法，其特征在于，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

从所述多个眼皮关键点中获取至少一个参考关键点；

根据所述眼球关键点的位置信息与所述至少一个参考关键点的位置信息计算得到所述眼球关键点与每个所述参考关键点之间的距离；

根据所述眼球关键点与每个所述参考关键点之间的距离得到所述主播的眼睛动作信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预先确定的包括主播的眼部图像的参考图像，并基于所述参考图像分析得到主播左右眼角之间的第一标准距离以及上下眼皮之间的第二标准距离；

所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

将所述多个眼皮关键点中的上眼皮点和下眼皮点的其中一个作为第一参考关键点，将所述多个眼皮关键点中的左眼角点和右眼角点中的其中一个作为第二参考关键点；

计算所述眼球关键点分别与所述第一参考关键点和所述第二参考关键点之间的第一距离和第二距离；

将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息。

4.根据权利要求3所述的方法，其特征在于，将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息，包括：

计算所述第一距离和所述第一标准距离之间的第一比值以及所述第二距离和所述第二标准距离之间的第二比值；

根据所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右转动的转动信息，进而得到所述眼睛动作信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

按照预设的帧间隔获取所述主播的当前主播视频帧图像之前的一个主播视频帧图像作为参考帧图像；

获取从所述参考帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第一距离序列；

计算从所述当前主播视频帧图像中提取的眼球关键点与每个眼皮关键点之间的距离，得到第二距离序列；

将所述第一距离序列和所述第二距离序列进行比对分析，得到所述主播的眼睛动作信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取预先确定的包括主播的眼部图像的参考图像，从所述参考图像中提取上眼皮关键点以及下眼皮关键点，并计算得到所述上眼皮关键点与所述下眼皮关键点之间的距离作为第一标定距离；

所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

根据所述多个眼皮关键点中的下眼皮点、上眼皮点以及所述第一标定距离在所述主播视频图像中确定一个虚拟上眼皮点作为第一参考关键点，其中，所述虚拟上眼皮点、所述下眼皮点、所述上眼皮点共线，所述虚拟上眼皮点与所述下眼皮点之间的连线距离等于所述第一标定距离；

分别计算所述眼球关键点与所述多个眼皮关键点中的左眼角点之间的第一距离、所述眼球关键点与所述多个眼皮关键点中的右眼角点之间的第二距离、所述眼球关键点与所述多个眼皮关键点中的下眼皮点之间的第三距离、以及所述眼球关键点与所述虚拟上眼皮点之间的第四距离；

根据所述第一距离、第二距离、第三距离、以及第四距离计算得到所述主播的眼球动作系数，其中所述眼球动作系数包括与所述第一距离负相关的第一动作系数、与所述第二距离负相关的第二动作系数、与所述第三距离负相关的第三动作系数、以及与所述第四距离负相关的第四动作系数，其中，所述眼睛动作信息包括所述眼球动作系数。