[发明专利]基于时空滤波和联合空间Kmeans的手指运动检测与定位方法

权利要求书

1.基于时空滤波和联合空间自适应Kmeans的手指运动检测与定位方法，其特征在于该方法通过贴标签和拍摄视频模块、运动目标检测模块和运动目标定位模块实现；

所述贴标签和拍摄视频模块用于生成后续模块处理的视频文件，包括：首先将演奏者手指贴上除黑、白外的十种不同颜色的标签，然后在演奏者正常弹奏钢琴的同时将演奏过程拍摄成视频；

所述运动目标检测模块用于运动目标检测，具体实现步骤包括：

步骤1、空域滤波，包括以下步骤：

1.1搜索运动目标区域：当前输入视频帧与背景图像进行空间域逐像素点比较来搜索运动目标区域；

1.2确定前景和后景：运动目标区域置为当前视频输入帧相应位置的像素点，后景区域的像素点置为白，在RGB空间中，白为(255，255，255)；

1.3反馈前景和后景：将前景即运动目标区域和后景反馈用于下一帧的背景更新；

步骤2、动态背景更新，包括以下步骤：

2.1空域滤波结果反馈：将上一次空域滤波结果反馈指导动态背景更新，判断当前输入视频帧是否为第2帧图像，若当前输入帧是第2帧，背景不更新，直接以第一帧图像作为背景；若当前输入帧非第2帧，则进行下一步操作；

2.2空域重组：时域带通滤波结果和时域低通滤波结果在前景即手指运动位置和后景位置进行空域重组完成背景更新；

步骤3：提取标签，包括以下步骤：

3.1去除肤色：将RGB空间转换至YCrCb空间，判断坐标(Cr，Cb)是否在肤色椭圆模型内，若某像素点在肤色椭圆模型内，则将该像素点置为白；

3.2去除阴影：将RGB空间转换至HSV空间，对V分量直方图进行带通滤波；

3.3判断标签：在HSV空间，计算S分量的前景平均阈值，将提取的运动目标中S分量小于前景饱和度平均阈值的像素点置为白；

所述运动目标定位模块用于定位运动目标，采用联合空间自适应Kmeans实现，具体实现步骤包括：

步骤1、联合空间自适应Kmeans，包括以下步骤：

1.1统计R、G、B直方图特性：将运动目标检测结果R、G、B三个分量直方图进行低通滤波，自适应判断直方图波峰；

1.2自适应决定聚类数目K：取R、G、B直方图最大波峰个数来作为联合空间自适应Kmeans的聚类数目；

1.3自适应聚类初始化：利用R、G、B直方图波峰位置来初始化聚类中心；

1.4迭代直至收敛：重复下列操作，直至收敛：(a)分别计算K个类的类中心；第k类的类中心是第k类中5维观测(R，G，B，x，y)向量的均值向量，1≤k≤K；(b)将每个观测分配到距离最近的类中心所在的类中；所述距离最近采用欧式距离来确定；

步骤2：随机扰动和模拟退火，包括以下步骤：

2.1计算每一类的5维扰动半径：取每一类的类中心距该类所有点中最远的距离作为扰动半径r_K，r_K为五维矢量，K为聚类数目；

2.2随机扰动：取-1～1之间的随机数random₀，将类中心进行r_K*random₀的扰动；将类中心扰动后的结果作为新的初始化类中心，重新进行联合空间自适应Kmeans，计算新的目标函数J’与当前目标函数J的差值ΔJ＝J'-J；若ΔJ＜0，则接受新解作为当前解，并更新扰动半径，进入步骤3；否则进入步骤2.3；

2.3模拟退火：将参与扰动的随机数修正为random₀*a^-t，其中a为退火速度，a1，t为退火次数，继续进行2.1和2.2的操作；

步骤3：指法识别，包括以下步骤：

3.1运动目标定位：通过联合空间自适应Kmeans聚类中心的坐标，确定每一视频帧手指在键盘上的相应位置从而获得指法；

3.2指法输出：将每一视频帧的指法统一保存在csv文件中用于后续的指法学习和研究。