[发明专利]一种唇动识别模型的构建方法及系统有效
申请号: | 201710190523.0 | 申请日: | 2017-03-27 |
公开(公告)号: | CN108664842B | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 李颖豪 | 申请(专利权)人: | TCL科技集团股份有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 深圳中一联合知识产权代理有限公司 44414 | 代理人: | 李艳丽 |
地址: | 516006 广东省惠州市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 识别 模型 构建 方法 系统 | ||
1.一种唇动识别模型的构建方法,其特征在于,包括:
构建读唇猜句游戏,通过所述读唇猜句游戏收集讲话视频的样本数据;
根据预设建模策略对所述样本数据中讲话者的唇部动作进行建模分析,得到唇语识别模型,并建立唇语识别模型数据库;
所述根据预设建模策略对所述样本数据中讲话者的唇部动作进行建模分析,得到唇语识别模型,并建立唇语识别模型数据库包括:
通过预设的嘴唇跟踪算法跟踪所述样本数据中讲话者的唇部动作,得到所述唇部动作的跟踪点数据;
将所述样本数据中唇部动作所对应的短句分拆成元音,并配对好按照时间顺序排列的跟踪点数据和元音,组成输入数据;
通过预设的分类算法对部分输入数据进行分类训练得到唇语识别模型;
将剩余部分输入数据中按照时间顺序排列的元音作为测试数据输入到训练得到的所述唇语识别模型进行唇部动作模拟;
通过所述预设的嘴唇跟踪算法提取模拟的唇部动作的跟踪点数据,判断所述模拟的唇部动作的跟踪点数据是否与所述测试数据所对应的跟踪点数据相匹配;
若不匹配,则返回所述通过预设的分类算法对所述输入数据进行分类训练得到唇语识别模型的步骤,重复执行上述流程,直至模拟的唇部动作的跟踪点数据与所述测试数据中元音所对应的跟踪点数据相匹配;
若相匹配,则将所述唇语识别模型存储至所述唇语识别模型数据库。
2.如权利要求1所述的唇动识别模型的构建方法,其特征在于,所述构建读唇猜句游戏,通过所述读唇猜句游戏收集讲话视频的样本数据包括:
为所述读唇猜句游戏设置讲者和猜句者两个玩家角色,并将所述读唇猜句游戏设置为回合制;
每轮游戏开始时,根据进入游戏的玩家人数制定游戏回合以及每个游戏回合中各个玩家的游戏角色,每个游戏回合中仅有一个玩家为讲者角色,其余玩家均为猜句者角色;
游戏回合开始时,将猜句题目推送至当前回合讲者玩家的终端,提示所述讲者玩家在终端镜头前读出猜句内容,并获取所述讲者玩家的讲话视频;
将所述讲者玩家的讲话视频经静音处理后发送至当前回合的猜句者玩家,提示所述猜句者玩家猜测所述讲者玩家的讲话内容;
接收所述猜句者玩家猜测的讲话内容,并将所述猜测的讲话内容与所述猜句题目中的猜句内容进行比较,得到猜句者玩家的猜句结果;
根据所述猜句结果和预设的计分规则为当前回合的所述讲者玩家和所述猜句者玩家计分;
根据预先制定的游戏回合重复上述游戏流程,直至该轮游戏的所有游戏回合结束,统计得分最高的玩家胜出;
统计每轮游戏中各个游戏回合猜句者玩家的猜中率,收集所述猜中率大于预设阈值的讲话视频作为样本数据。
3.如权利要求2所述的唇动识别模型的构建方法,其特征在于,将所述讲者玩家的讲话视频经静音处理后发送至当前回合的猜句者玩家,提示所述猜句者玩家猜测所述讲者玩家的讲话内容之前包括:
对所述讲者玩家的讲话视频中讲话者唇部以外的地方进行模糊滤镜处理。
4.如权利要求1所述的唇动识别模型的构建方法,其特征在于,所述根据预设建模策略对所述样本数据中讲话者的唇部动作进行建模分析,得到唇语识别模型,并建立唇语识别模型数据库之前还包括:
通过预设的过滤算法过对所述样本数据进行过滤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于TCL科技集团股份有限公司,未经TCL科技集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710190523.0/1.html,转载请声明来源钻瓜专利网。