[发明专利]一种基于笔尖定位并获取笔迹的方法

说明书

本发明公开了一种基于笔尖定位并获取笔迹的方法及装置，对每帧图像进行实时处理，通过增加放大视野、检测角度、对笔杆角度标准化处理，能更精确、更稳定地检测笔尖关键点及运动轨迹。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于笔尖定位并获取笔迹的方法。

背景技术

目前书写轨迹获取往往是通过带有传感器的笔与终端设备连接，传输书写信息，但这种笔往往价格昂贵，无法普及。当前还缺少实时、精准定位书写时的笔尖并保存书写运动轨迹，以用于实时书写文字识别的有效方法。

发明内容

针对现有技术的不足，本发明旨在提供一种基于笔尖定位并获取笔迹的方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于笔尖定位并获取笔迹的方法，具体过程为：

S1、利用摄像头获取一帧视频图像I1；

S2、从图像I1中检测出包含握笔姿势的手部边界框B1；

S3、将手部边界框B1向外扩展设定的比例f后得到边界框B2，并沿边界框B2裁剪出图像I2；

S4、对图像I2进行检测，获取笔尖的粗略关键点P以及笔杆倾斜角θ，所述笔杆倾斜角θ是指笔杆的中轴线和水平线之间的夹角；

S5、以粗略关键点P为起点，笔尖方向为笔杆倾斜正方向，与笔尖相反的方向为笔杆倾斜反方向；沿笔杆倾斜正方向延长与边界框B2相交于点N，沿笔杆倾斜反方向延长与边界框B2相交于M，并取线段PM的中点S；

S6、以P点为中心，将图像旋转至标准角β，同时将旋转后的点S记为S’，旋转后的点N记为N’；所述标准角β为样本数据中所有笔杆的倾斜角的平均值；

S7、以点S’和点N’作为矩形两个顶点，围成矩形框，并裁剪出图像I3；

S8、对图像I3进行检测，获取笔尖精细关键点Q，将点Q保存至轨迹队列；

S9、获取下一帧视频图像并重复步骤S2-S8。

进一步地，上述方法中，f的取值为10％-20％。

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。

一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序时，实现上述方法。

本发明的有益效果在于：本发明对每帧图像进行实时处理，通过增加放大视野、检测角度、对笔杆角度标准化处理，能更精确、更稳定地检测笔尖关键点及运动轨迹。

附图说明

图1为本发明实施例中方法的实例示意图。

具体实施方式

以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。

本实施例提供一种基于笔尖定位并获取笔迹的方法，具体过程为：

S1、利用摄像头获取一帧视频图像I1，如图1所示。

S2、从图像I1中检测出包含握笔姿势的手部边界框B1。其中可以采用通用目标检测模型进行检测。

S3、将手部边界框B1向外扩展设定的比例f(10％-20％)后得到边界框B2，并沿边界框B2裁剪出图像I2。