[发明专利]采用最相关的兴趣点的各组的选择的视觉语音识别方法

摘要

本发明涉及采用最相关的兴趣点的各组的选择的视觉语音识别方法。该方法包括下列步骤：a)形成n个兴趣点的微结构的起始集合，每一微结构由n阶元组来定义，其中n≥1；b)对于每一元组，基于所述兴趣点的局部梯度和/或移动描述符来确定相关联的结构化视觉特性；以及c)迭代地搜索并选择最具区别性的元组。步骤c)通过以下步骤来操作：c1)将多核学习MKL类型的算法应用于所述元组集合；c2)提取产生最高相关性分数的元组子集；c3)将附加的元组聚集到这些元组，以获得更高阶元组的新集合；c4)确定与每一所聚集的元组相关联的结构化视觉特性；c5)选择最具区别性的元组的新子集；以及c6)重复步骤c1)到c5)直至最大阶N。

主权项

1.一种用于通过分析视频序列的视觉语音活动、通过跟踪在讲话者的嘴部区域上选择的一组预定兴趣点的局部变型来进行自动语言识别的方法，所述视频序列包括所述讲话者的嘴部区域的连续图像，所述方法的特征在于，所述方法包括以下步骤：a)形成n个兴趣点的微结构的起始集合，每一个微结构都由一n阶元组来定义，其中1≤n≤N；b)对于步骤a)的每一元组，基于所述元组的兴趣点的局部梯度和/或移动描述符来确定相关联的结构化视觉特性；c)通过以下步骤来迭代地搜索并选择最具区别性的元组：c1)将适于考虑元组及其相关联的结构化特性的组合的算法应用于所述元组集合并为所述组合的每一元组确定对应的相关性分数；c2)从在步骤c1)处考虑的所述元组集合中，提取产生最高相关性分数的元组的子集；c3)将附加的1阶元组聚集到在步骤c2)处提取的所述子集的元组，以获得更高阶元组的新集合；c4)确定与在步骤c3)处形成的每一所聚集的元组相关联的结构化视觉特性；c5)在所述更高阶元组的新集合中，选择最具区别性的元组的新子集；以及c6)重复步骤c1)到c5)直至最大阶N；以及d)基于在步骤c)选择的元组来执行视觉语言识别算法。