[发明专利]用于用户接口的处理系统及处理方法

权利要求书

1.一种用于用户接口的处理方法，其特征在于，包括：

配置一处理器进入一学习阶段，包括：

配置该处理器撷取一用户接口的一第一画面；

配置该处理器检测是否有来自一输入模块的一用户输入，其中，该使用者输入对应于该用户接口上的一输入位置；

响应于检测到该用户输入，配置该处理器撷取该用户接口的一第二画面；

配置该处理器比较该第一画面及该第二画面的差异处，并储存至一内存；

配置该处理器执行一第一识别程序，以依据该输入位置从该差异处检测一封闭外框以作为一按键对象；

配置该处理器执行一第二识别程序，以从该按键对象中识别出一特征对象；及

配置该处理器将该按键对象关联于该特征对象，并储存至该内存；以及

配置该处理器进入一应用阶段，包括：

配置该处理器撷取该用户接口的一当前画面，并以该第一识别程序检测该按键对象是否存在于该当前画面中；

响应于检测到该按键对象存在于该当前画面中，配置该处理器执行该第二识别程序，以判断该按键对象是否存在该特征对象；及

响应于该按键对象存在该特征对象，配置该处理器于该用户接口的该当前画面中对该按键对象执行一强调处理。

2.如权利要求1所述的处理方法，其特征在于，该第一识别程序包括：

根据该输入位置，执行一斑点检测程序，以该输入位置为中心向外寻找该封闭外框；

以该封闭外框为基准，加上一设定余量以取得一按键外框；以及

将该按键外框对应的撷取影像作为该按键对象。

3.如权利要求1所述的处理方法，其特征在于，该第二识别程序包括：

对该第一识别程序取得的该按键对象执行一二值化前处理；及

执行一文字识别程序以从经前处理的该按键对象识别出一文字对象，以作为该特征对象。

4.如权利要求3所述的处理方法，其特征在于，在该应用阶段中，判断该按键对象是否存在该特征对象的步骤更包括：

对该按键对象执行该二值化前处理；

执行该文字识别程序以从经前处理的该按键对象识别出另一文字对象，并计算该文字对象与该另一文字对象的相似度，并判断该相似度是否大于一预定相似度；以及

响应于该相似度大于该预定相似度，判断该按键对象存在该特征对象。

5.如权利要求1所述的处理方法，其特征在于，该第二识别程序包括：

执行一图形识别程序，以从该按键对象识别出至少一图形对象以作为该特征对象。

6.如权利要求5所述的处理方法，其特征在于，在该应用阶段中，判断该按键对象是否存在该特征对象的步骤更包括：

执行该图形识别程序以从该按键对象识别出另一图形对象，并计算该至少一图形对象与该另一图形对象的相似度，并判断该相似度是否大于一预定相似度；以及

响应于该相似度大于该预定相似度，判断该按键对象存在该特征对象。

7.如权利要求5所述的处理方法，其特征在于，该图形识别程序包括将该第一识别程序取得的该按键对象输入一机器学习模型，以训练该机器学习模型将包括该图形对象的该按键对象分类为一按键图形类别。

8.如权利要求7所述的处理方法，其特征在于，在该应用阶段中，判断该按键对象是否存在该特征对象的步骤还包括：

将该按键对象输入经训练的该机器学习模型；

通过经训练的该机器学习模型从该按键对象识别出另一图形对象，并计算该至少一图形对象与该另一图形对象的相似度，并判断该相似度是否大于一预定相似度；以及

响应于该相似度大于该预定相似度，判断该按键对象存在该特征对象。

9.如权利要求1所述的处理方法，其特征在于，还包括：

响应于未从该差异处检测到该封闭外框，配置该处理器执行一第三识别程序，以从该差异处识别出该特征对象。

10.一种用于用户接口的处理系统，其特征在于，包括：

一用户接口；

一输入模块；

一内存；以及

一处理器，经配置以进入一学习阶段及一应用阶段，其中，在该学习阶段中，该处理器经配置以：

撷取该用户接口的一第一画面；

检测是否有来自该输入模块的一用户输入，其中，该使用者输入对应于该用户接口上的一输入位置；

响应于检测到该使用者输入，撷取该用户接口的一第二画面；

比较该第一画面及该第二画面的差异处，并储存至一内存；

执行一第一识别程序，以依据该输入位置从该差异处检测一封闭外框以作为一按键对象；

执行一第二识别程序，以从该按键对象中识别出一特征对象；及

将该按键对象关联于该特征对象，并储存至该内存，

其中，在该应用阶段中，该处理器经配置以：

撷取该用户接口的一当前画面，并以该第一识别程序检测该按键对象是否存在于该当前画面中；

响应于检测到该按键对象存在于该当前画面中，执行该第二识别程序，以判断该按键对象是否存在该特征对象；及

响应于该按键对象存在该特征对象，于该用户接口的该当前画面中对该按键对象执行一强调处理。