[发明专利]基于时空滤波和联合空间Kmeans的手指运动检测与定位方法

说明书

本发明公开基于时空滤波和联合空间Kmeans的手指运动检测与定位方法，首先将演奏者手指贴上十种不同颜色（除黑、白外）的标签，拍摄演奏者手指弹奏键盘乐器的视频；然后对输入的视频帧，用时空滤波的方法检测手指运动目标，将空域滤波结果反馈指导动态背景更新；用联合空间Kmeans进行手指运动目标定位，结合R、G、B直方图统计特性自适应决定聚类数目和初始化类中心，从而实现计算复杂度低、收敛速度快、定位准确度高、实时性能好的指法识别、记录功能。

技术领域

本发明涉及视觉监控、数字图像处理等技术领域，具体涉及基于时空滤波和联合空间Kmeans的手指运动检测与定位方法。

背景技术

钢琴(或其他键盘乐器)演奏者正确的指法对于灵活的演奏和诠释音乐至关重要。良好的指法能体现演奏者对作曲家风格特征、作品内容的理解和诠释，同时能节省精力、时间，提高演奏效率。演奏指法虽有一般规律，但不同曲目指法的非固定性给初学者的指法练习和对音乐大师的指法模仿增加了难度。人工记录指法不仅需要较高的音乐修养，同时耗时耗力。因此，实现机器自动智能地识别指法成为指法研究和学习的必然趋势。

其中，指法识别的关键在于运动目标检测和运动目标定位的有机结合。

常用的运动目标检测方法包括：背景建模法、帧差法和光流法。

1)背景建模法：假定没有入侵物体的静态场景具有一些常规特性，并用统计模型的加权和混合在一起来模拟背景模型。一旦已知背景模型，入侵物体就能通过标出场景图像中不符合这一背景模型的部分检测到。常用的背景建模方法包括:单高斯模型、混合高斯模型、核密度估计等。这些方法虽能够得到比较精确的运动目标区域,但计算量相对较大，速度偏慢，对光照变化、背景变动敏感。

2)帧差法：通过相邻帧间的时间差分来提取图像中的运动区域。虽然帧差法运算速度较快，稳定性较好，但是当手指运动速度较慢的时候，两帧之间运动目标像素十分接近的重合部分无法检测出来。

3)光流法：利用运动目标随时间变化的光流特性进行运动检测，虽然不需要背景建模，在无法预先获得场景任何信息的情况下，也能检测出独立的运动对象。但其计算复杂，需要特殊的硬件装置，很难满足实时性要求，同时运动边界、运动遮挡、多运动(其中包括透明、半透明运动)等问题也是光流法的瓶颈。

同时运动目标定位方法通常基于边缘检测。边缘检测以精确的目标轮廓表示代替简化的定位信息，但是边缘检测在指法复杂或两个及以上手指的标签有重叠部分时，边缘检测会丢失大量信息，甚至将两个运动目标判断为一个。且因边缘检测只能定位无法分类造成手指无法与检测出的轮廓正确匹配。同时边缘检测受背景影响较大，没有过滤功能，噪声点也会被检测出来而干扰手指的定位。

因此针对演奏指法识别应用场景下，上述运动目标检测和定位方法存在的各种问题，例如：低速运动目标漏检、难以分类导致手指无法与定位正确匹配、噪声干扰严重，本发明提出基于时空滤波和联合空间Kmeans的手指运动检测与定位方法，通过分析演奏者手指弹奏钢琴(或其他键盘乐器)的视频来实现演奏指法识别。本发明运动目标检测采用时空滤波的方法，可以克服光照变化和背景变动的影响，有效避免低速运动目标的漏检；运动目标定位使用联合空间Kmeans方法可以充分利用图像的统计特性进行自适应判决，提高定位和聚类的准确性。

发明内容

本方法的目的在于克服现有运动目标检测和定位方法应用于演奏指法识别场景的不足，提出基于时空域滤波和联合空间Kmeans的手指运动检测与定位方法。

为了达到以上目的，本发明所述的基于时空滤波和联合空间Kmeans的手指运动检测与定位方法由贴标签和拍摄视频、运动目标检测、运动目标定位三个模块组成。

上述贴标签和拍摄视频模块用于生成后续模块处理的视频文件，首先将演奏者手指贴上十种不同颜色(除黑、白外)的标签，然后在演奏者正常弹奏钢琴同时将演奏过程拍摄成视频。