[发明专利]基于计算机视觉的典型应用智能图文教程制作的方法及系统

说明书

本发明涉及一种基于计算机视觉的典型应用智能图文教程制作的方法及系统，该方法包括实时操作过程和录屏操作过程，实时操作过程包括：A1、获取用户操作过程中的鼠标和键盘操作，分析鼠键操作对应的典型软件操作内容；A2、对操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；A3、对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；录屏操作过程包括：B1、对输入视频进行关键帧提取，识别录屏操作中关键内容；B2、对获取的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。该方法及系统可以有效地识别用户操作内容，智能化生成操作文档。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于计算机视觉的典型应用智能图文教程制作的方法及系统。

背景技术

关键帧提取即KeyFrame Extraction其主要任务是将给定视频准换为一组图像序列，找到图像序列中具有关键内容的帧，剔除大量的过渡帧。减少视频数据量过大带来的数据处理成本增加。目前学术界在关键帧提取问题上采用的主要方法包括基于聚类的分析方法和基于运动的光流分析法。

目标检测即ObjectDetection其主要任务是对给定的图片识别其中包含的目标并进行分类。目前学术界在目标检测问题上采用的主要方法包括多阶段的R-CNN系列算法和单阶段的YOLO系列，SSD算法等。通过预测检测目标在图片当中的候选区域，给与候选框和分类结果置信度参数，相较于R-CNN系列算法，YOLO系列算法的速度更快。

发明内容

本发明的目的在于提供一种基于计算机视觉的典型应用智能图文教程制作的方法及系统，该方法及系统可以有效地识别用户操作内容，智能化生成操作文档。

为实现上述目的，本发明采用的技术方案是：一种基于计算机视觉的典型应用智能图文教程制作的方法，包括实时操作过程和录屏操作过程，所述实时操作过程包括以下步骤：

步骤A1：获取用户操作过程中的鼠标和键盘操作，分析鼠标和键盘操作对应的典型软件操作内容；

步骤A2：对获取到的操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；

步骤A3：对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；

所述录屏操作过程包括以下步骤：

步骤B1：对输入视频进行关键帧提取，识别录屏操作中关键内容，过滤多余的帧；

步骤B2：对获取到的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。

进一步地，所述步骤A1具体包括以下步骤：

步骤A11：对用户实时操作内容进行鼠标和键盘事件的检测，记录操作时的鼠标位置和键盘输入；

步骤A12：对检测结果进行分析，将用户操作分为鼠标点击操作和文字输入操作两大类别；鼠标点击操作进一步划分为左击、右击、双击、拖动；鼠标左击对应用户进行典型应用按钮单击操作，鼠标右击对应用户进行典型应用隐藏菜单栏或二级快捷菜单栏的展开；鼠标双击对应用户进行典型应用的打开文件或文件架操作；鼠标拖动对应用户进行典型应用物体选中后位置调整操作或文字选中操作；