[发明专利]基于计算机视觉的典型应用智能图文教程制作的方法及系统

权利要求书

1.一种基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，包括实时操作过程和录屏操作过程，所述实时操作过程包括以下步骤：

步骤A1：获取用户操作过程中的鼠标和键盘操作，分析鼠标和键盘操作对应的典型软件操作内容；

步骤A2：对获取到的操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；

步骤A3：对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；

所述录屏操作过程包括以下步骤：

步骤B1：对输入视频进行关键帧提取，识别录屏操作中关键内容，过滤多余的帧；

步骤B2：对获取到的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。

2.根据权利要求1所述的基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，所述步骤A1具体包括以下步骤：

步骤A11：对用户实时操作内容进行鼠标和键盘事件的检测，记录操作时的鼠标位置和键盘输入；

步骤A12：对检测结果进行分析，将用户操作分为鼠标点击操作和文字输入操作两大类别；鼠标点击操作进一步划分为左击、右击、双击、拖动；鼠标左击对应用户进行典型应用按钮单击操作，鼠标右击对应用户进行典型应用隐藏菜单栏或二级快捷菜单栏的展开；鼠标双击对应用户进行典型应用的打开文件或文件架操作；鼠标拖动对应用户进行典型应用物体选中后位置调整操作或文字选中操作；

步骤A13：根据实时检测返回事件名称直接进行左击，右击判定；在此基础上利用前后两次左击位置判定是否进行双击，当第二次点击位置(x_sec，y_sec)包含于第一点击位置(x_fir，y_fir)加上允许用户操作时出现的偏移量Δ_d当中，减小用户点击操作的微小抖动对判定结果产生的影响，即满足(x_sec，y_sec)∈(x_fir+Δ_d，y_fir+Δ_d)时，其中(x_fir，y_fir)表示第一次点击的像素坐标，置(x_sec，y_sec)表示第二次点击的像素坐标，Δ_d表示因用户操作出现的偏移量；判定用户进行双击操作；

步骤A14：对出现的鼠标拖动操作进行进一步判定，进行用户鼠标移动位置记录，判定鼠标拖动路径是否满足水平方向或竖直方向上的直线拖动；以用户鼠标按下位置作为起点判定鼠标松开位置是否在以起点为中心的十字范围内，将属于十字范围内的鼠标拖动操作判定为文字水平或竖直方向的选中。