[发明专利]视频直播中的虚拟对象识别方法、装置、存储介质和设备

权利要求书

1.一种视频直播中的虚拟对象识别方法，包括：

从直播视频流中截取视频帧；

当所述视频帧中包括虚拟对象操控界面区域时，则

在所述视频帧中确定与模板图像匹配的通用操控区域；所述虚拟对象操控界面区域是虚拟对象操控界面的界面图像在视频帧中的位置；所述虚拟对象操控界面是用于触发对应于虚拟对象的操控指令的界面；所述操控指令用于控制虚拟对象执行相应的交互动作；

根据通用操控区域与特征操控区域的相对位置，及确定的所述通用操控区域，确定所述视频帧中的特征操控区域；所述特征操控区域按虚拟对象区分；

识别确定的所述特征操控区域所映射至的虚拟对象。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述视频帧中提取图像特征；

根据提取的所述图像特征生成特征向量；

将生成的所述特征向量输入图像分类模型；

获取所述图像分类模型输出的分类结果；所述分类结果为所述视频帧中包括虚拟对象操控界面区域，或者所述视频帧中不包括虚拟对象操控界面区域。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

收集图像样本；所述图像样本为包括虚拟对象操控界面区域的图像和不包括虚拟对象操控界面区域的图像；

确定各所述图像样本的分类标签；

从各所述图像样本中提取图像特征生成特征向量样本；

根据各所述图像样本的特征向量样本和分类标签训练得到图像分类模型。

4.根据权利要求1所述的方法，其特征在于，所述在所述视频帧中确定与模板图像匹配的通用操控区域，包括：

获取模板图像；

对所述视频帧进行窗口扫描，获得窗口图像；

将获得的窗口图像与所述模板图像进行匹配；

选取与所述模板图像匹配的窗口图像在所述视频帧中的图像区域，作为与模板图像匹配的通用操控区域。

5.根据权利要求1所述的方法，其特征在于，所述根据通用操控区域与特征操控区域的相对位置，及确定的所述通用操控区域，确定所述视频帧中的特征操控区域，包括：

获取通用操控区域与特征操控区域的相对位置；

查询与所述相对位置相关联的界面尺寸；

按所述界面尺寸调整所述视频帧中的虚拟对象操控界面区域；

根据所述相对位置以及确定的所述通用操控区域，确定调整后的所述视频帧中的特征操控区域。

6.根据权利要求1所述的方法，其特征在于，所述识别确定的所述特征操控区域所映射至的虚拟对象，包括：

从所述视频帧中截取确定的所述特征操控区域得到目标图像；

将所述目标图像输入虚拟对象分类模型；

获取所述虚拟对象分类模型输出的虚拟对象分类结果；

确定所述虚拟对象分类结果所映射至的虚拟对象。

7.根据权利要求6所述的方法，其特征在于，所述虚拟对象分类模型为深度残差网络模型；所述深度残差网络模型包括多个残差层；对于所述深度残差网络模型中的各残差层，相邻且在前的残差层的输入和输出共同作为相邻且在后的残差层的输入。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

收集与各虚拟对象分别对应的、且包括虚拟对象操控界面区域的图像样本；

从收集的所述图像样本中截取特征操控区域样本；

调整所述特征操控区域样本的图像尺寸或者图像方向；

获取调整前后的所述特征操控区域样本作为训练样本；

将所述训练样本截取自的图像样本所对应的虚拟对象，作为所述训练样本的训练标签；

根据所述训练样本和相应的训练标签训练得到虚拟对象分类模型。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述方法还包括：

将识别出的所述虚拟对象的虚拟对象标签添加至所述直播视频流；

按照添加的虚拟对象标签对各所述直播视频流进行聚类。