[发明专利]直播互动方法、直播互动系统及直播设备

说明书

本申请实施例提供一种直播互动方法、直播互动系统及直播设备，可以从主播视频图像中提取包括眼球关键点以及多个眼皮关键点的多个人眼关键点，并根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息用于控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。如此，可以根据主播视频图像控制虚拟形象的眼睛动作与主播眼部动作进行随动控制，将主播的眼部动作复制到虚拟形象上，进而对主播行为进行生动的表达，可以增强直播的互动效果并提升用户体验。

技术领域

本申请涉及网络直播技术领域，具体而言，涉及一种直播互动方法、直播互动系统及直播设备。

背景技术

随着移动互联网技术以及网络通信技术的不断发展，网络直播在人们的日常工作及生活中得到了迅速的发展及应用。例如，用户可以通过智能手机、电脑、平板电脑等设备在线观看直播平台的各种主播提供的直播内容，又或者，用户也可以通过智能手机、电脑、平板电脑等设备随时随地在相应的直播平台提供直播内容，以供他人观看。在一些特定的直播场景中，为了提供多样化的直播体验，基于虚拟形象的直播方式也得到了广泛的应用。相较于真人主播进行直播的方式，通过虚拟形象进行直播无需主播进行真人互动，主播可在后台通过控制虚拟形象模拟后台主播的行为进行直播互动。然而，如何使虚拟形象能够对主播的行为进行生动的表达是目前需要解决的一大技术问题。

发明内容

基于以上内容，第一方面，本申请实施例提供一种直播互动方法，应用于直播设备，所述方法包括：

获取主播视频图像，并从所述主播视频图像中提取多个人眼关键点，所述多个人眼关键点包括眼球关键点以及多个眼皮关键点；

根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息；

根据所述主播的眼睛动作信息控制直播互动画面中展示的虚拟形象执行相应的眼睛互动操作。

基于第一方面的一种可能的实施方式，所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

从所述多个眼皮关键点中获取至少一个参考关键点；

根据所述眼球关键点的位置信息与所述至少一个参考关键点的位置信息计算得到所述眼球关键点与每个所述参考关键点之间的距离；

根据所述眼球关键点与每个所述参考关键点之间的距离得到所述主播的眼睛动作信息。

基于第一方面的一种可能的实施方式，所述方法还包括：

获取预先确定的包括主播的眼部图像的参考图像，并基于所述参考图像分析得到主播左右眼角之间的第一标准距离以及上下眼皮之间的第二标准距离；

所述根据所述眼球关键点以及所述眼皮关键点的位置信息获得主播的眼睛动作信息，包括：

将所述多个眼皮关键点中的上眼皮点和下眼皮点的其中一个作为第一参考关键点，将所述多个眼皮关键点中的左眼角点和右眼角点中的其中一个作为第二参考关键点；

计算所述眼球关键点分别与所述第一参考关键点和所述第二参考关键点之间的第一距离和第二距离；

将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息。

基于第一方面的一种可能的实施方式，将所述第一距离和所述第二距离分别与所述第一标准距离和所述第二标准距离进行比较得到所述主播的眼睛动作信息，包括：

计算所述第一距离和所述第一标准距离之间的第一比值以及所述第二距离和所述第二标准距离之间的第二比值；

根据所述第一比值和所述第二比值分析得到所述主播的眼睛向上、下、左、右转动的转动信息，进而得到所述眼睛动作信息。