[发明专利]虚拟文本识别方法、装置、介质及电子设备

说明书

本公开涉及一种虚拟文本识别方法、装置、介质及电子设备，该方法包括：获取待检测视频；将待检测视频输入至检测模型中，得到检测模型输出的检测结果，检测结果包括图像帧中是否存在预设书写手势，以及图像帧中存在预设书写手势的情况下、书写关键点在图像帧中的位置信息；根据检测结果，确定初始连续书写轨迹信息，初始连续书写轨迹信息包括各个书写关键点分别在对应指定图像帧中的位置信息、以及指定图像帧在待检测视频中的时间戳，指定图像帧包括连续存在预设书写手势的图像帧；根据初始连续书写轨迹信息进行文本识别，以得到用户书写的虚拟文本信息，虚拟文本信息包括至少一个字符。通过上述方案，提高虚拟文本识别的准确度。

技术领域

本公开涉及文本识别技术领域，具体地，涉及一种虚拟文本识别方法、装置、介质及电子设备。

背景技术

文字作为普遍的交流工具，在人机交互的系统中扮演着越来越重要的角色，文字输入的方式多种多样，例如通过键盘进行文字输入，也可通过触摸屏和手写板等进行文字输入，但这些文字输入方式都有各自应用场景的限制，例如，键盘受到键盘大小、按键数量以及键盘所在物理位置的限制，用户使用时必须将手放在键盘上才能实现文字输入，特别是教师在讲课的过程中，这种输入方式不够便捷。

目前，通过手指在空中书写虚拟文字，摄像头可实时采集手指的运动轨迹，根据轨迹识别文字，这种书写方式不受区域的限制，相比其他输入方式更加灵活便捷。但是相关技术中对空中手写文字的识别方式也存在很多不足，下面进行举例说明。

例如，相关技术中使用传感器采集动作数据，或者使用传感器笔来进行空中手写数据采集，或者使用红外设备辅助记录书写轨迹，这些方式需要额外的辅助设备，包括但不限于定位设备、陀螺仪、红外发光装置等来辅助记录手指移动轨迹，额外增加了硬件成本，且限制了空中书写的灵活性。再例如，空中书写难以判断书写过程中的提笔和落笔，因而难以区分不同字符之间的断笔，因此相关技术中只能完成单字的识别，不能识别连续的文本行。此外，相关技术中的空中手写文字识别方式中，也有采用开始手势(如手掌)和结束手势(如拳头)来进行轨迹的切分和截取，其中文本行识别过程采用的是先基于动态规划算法对字符串进行切分，再对单个文字的笔画进行识别，由于切分过程可能有错，因而还需对切分过程进行一元删除评价和切分最优路径的辅助，由于轨迹的开始和结束需要特殊手势对应，流程有冗余部分，而且将每个字符切分出来之后使用单个字符分类器进行识别，对连续字符的切分一直是影响精度的难点问题，在没有提笔动作的手势书写中更是会限制字符切分的精度，进而限制最终识别字符串的精度。

发明内容

本公开的目的是提供一种虚拟文本识别方法、装置、介质及电子设备，高效地解决虚拟文本的识别问题。

为了实现上述目的，第一方面，本公开提供一种虚拟文本识别方法，所述方法包括：

获取待检测视频；

将所述待检测视频输入至检测模型中，得到所述检测模型输出的检测结果，其中，所述检测模型用于对所述待检测视频中的图像帧进行检测，所述检测结果包括所述图像帧中是否存在预设书写手势，以及所述图像帧中存在所述预设书写手势的情况下、书写关键点在所述图像帧中的位置信息；

根据所述检测结果，确定初始连续书写轨迹信息，其中，所述初始连续书写轨迹信息包括各个书写关键点分别在对应指定图像帧中的位置信息、以及所述指定图像帧在所述待检测视频中的时间戳，所述指定图像帧包括连续存在所述预设书写手势的图像帧；

根据所述初始连续书写轨迹信息进行文本识别，以得到用户书写的虚拟文本信息，其中，所述虚拟文本信息包括至少一个字符。

可选地，所述检测模型是通过如下方式训练得到的：

将训练图像输入至目标检测网络中，得到所述目标检测网络输出的卷积特征图，其中，所述目标检测网络采用MobileNet卷积网络模块进行卷积操作；