[发明专利]一种适应于背景填充的选定区域识别方法

说明书

本发明提供了一种适应于背景填充的选定区域识别方法，采用Windows提供的消息钩挂功能进行DLL注入，在对方的程序中运行自己的代码，通过修改WindowsAPI的入口地址进行API钩挂，用背景填充特征值，包括颜色、图片、线条线框、透明状态、渐变类型等，分析识别出符合特征的区域。该方法配置文件时不再需要繁琐的复杂的配置，也不需要对海量的数据进行参数化，极大的提高了自动化效果，而且能够多样化的实现选定区域识别。

技术领域

本发明涉及Windows应用开发技术领域，特别涉及一种在系统级的代码注入及应用程序接口钩挂的领域，具体地涉及一种适应于背景填充的选定区域识别方法。

背景技术

随着软件行业的自动化和智能化的出现，能够帮助我们取代大部分的人工操作，提高我们的工作效率。在软件中比较有名就是按键精灵和LoadRunner，还有类似这两款软件的同类型软件等，它们都可以录制脚本，并且回放录制的脚步时就像机器一样重复的执行我们不愿人工重复的单调无味的动作，其中按键精灵是一个模拟鼠标键盘动作的软件，通过制作脚本，可以让按键精灵代替双手，自动执行一系列鼠标键盘动作。而LoadRunner一款强大的自动化测试工具，主要应用在软件的自动化测试工作，在尤其是前期的压力测试，能够模拟大量用户并发测试能够很好的发现问题。自动化软件都只能做到对桌面应用软件的固定区域识别，和数据是没有关联性，所以全自动方面还是得不到应用。

现有技术中，通过录制的脚本，或者自定义编写的脚本，播放脚本达到自动化识别选定区：

第一，录制各种软件的操作界面的脚本，对于固定区域，录制的脚本可以不需要改动，而动态变化的数据需要对其进行参数化，才能达到脚本自动播放的目的。指定配置的选中特征值加载到程序中。

第二，录制多个脚本，并保存脚本，在需要无人值守是播放脚本即可。

在实现本发明的过程中，现有技术至少存在以下问题：

第一，在录制脚步后，软件数据并不是单一，就需要对海量数据进行参数化，工作量依然很大。

第二，如果为每一份数据录制一份脚本工作量依然很大，不能很好的实现自动化。

发明内容

为了解决现有技术的问题，本发明提供了一种适应于背景填充的选定区域识别方法。 该方法是在现有的软件不能全面实现软件的自动化应运而生的。在背景填充的识别过程中，首先利用window的hook技术抓取数据，选择指定的背景填充特征，背景的填充特征不是单一的特征值，可能是颜色值，可能是线条线框，可能是图片，这些特征值通过组合方式对背景特征进行一定的模糊匹配筛选出符合要求的选定区域。所述技术方案如下：

本发明采用Windows提供的消息钩挂功能进行DLL注入，在对方的程序中运行自己的代码，通过修改WindowsAPI的入口地址进行API钩挂，用背景填充特征值，包括颜色、图片、线条线框、透明状态、渐变类型等，分析识别出符合特征的区域。

一种适应于背景填充的选定区域识别方法，其特征在于：

a)使用Windows的Hook技术跨进程获取其它桌面应用程序的背景特征。

b)使用选定的背景填充的特征值和当前运行的其他桌面应用程序的背景作匹配，并把符合该背景特征的选定区域提取存储起来。

所述背景填充为桌面应用程序在图形界面上的背景特征，包括颜色、图片、线框、渐变颜色，特殊标记等。

所述选定区域是桌面应用程序在界面符合背景填充的特征的可视化矩形区域。

所述步骤 b)中，所述当前运行的其他桌面应用程序的背景是用户需要匹配处理的一种背景特征数据，所述背景特征数据为应用程序所涉及的医疗业务数据。

本发明提供的技术方案带来的有益效果是：