[发明专利]基于场景识别的虚拟触摸屏技术的设计方法

说明书

技术领域：

本发明属于嵌入式系统应用程序设计领域，具体涉及支持采用智能系统的数字家电、个人电脑等电子设备的人机交互方法，即通过遥控器等设备作为输入来模拟触摸屏的按压、滑动操作，即虚拟触摸屏技术。

背景技术：

许多智能操作系统，如Android、Bada、Meego等，广泛应用在嵌入式便携设备中，并被摩托罗拉、三星、华为等众多知名厂商应用在其智能手机中，已取得巨大的成功。目前，这些系统已开始渗透到数字电视领域当中，三星、索尼等厂商在2012年初推出基于Android系统的智能电视，各传统电视厂商也在积极研发此类技术，以在新一代数字电视的竞争中取得优势。

数字电视的智能化，尤其是使用智能操作系统，使得人们可以在电视上处理的较为的复杂的文本、图像、搜索、游戏等操作，这必然要求数字电视要有更智能的交互方式来全面提升用户体验。集成这些系统的智能手机主要采用触摸屏点击方式完成操作，但这种触摸方式对数字电视来说有着造价高昂，精度低，操作困难等等弊病。于是各大电视厂商对智能电视的交互方式进行革新，并相继推出各种智能交互方式比如体感遥控、语音识别、动作识别、智能触控、多屏互动等来抢占市场。探索智能电视新的交互方式已在Google TV推出时就做了一些尝试，Google TV通过无线全键盘遥控器在电视上网和娱乐，但这种方式与人们使用电脑上网搜索并没有太大的区别，且这对于那些较少接触电脑的用户来说无疑有着不少的难度。LG于2010年推出了采用动感应遥控器的电视，LG动感应遥控器具有指向定位和动作感应功能，可以像无线鼠标一样控制光标在画面上随意滑动。该项技术需要使用带有重力传感器的特制遥控器，存在定位精度不高，遥控器功耗较大和软硬件成本增加的问题。

考虑到成本和可操作性，本专利提出一种通过场景识别技术将传统遥控器上的按键操作模拟成屏幕上特定位置的点击操作，这样在不增加硬件成本的前提下，利用成熟的遥控器技术，完成对集成Android系统的数字电视的操作。

发明内容：

本发明的目的在于提供一种通过场景识别技术将遥控器的按键操作模拟成屏幕特定位置的点击操作的设计方法。利用帧缓冲(Frame Buffer)中图像信息，预先分析智能操作系统中应用程序的各个界面的颜色特征和按钮点位置，根据这些特征采用场景识别算法识别出当前屏幕上所显示应用的场景，并将遥控器上的按键信息解析成鼠标箭头在场景按钮点位置的移动或点击操作。该项技术能够在不增加电视机硬件设施成本的情况下，最大限度的利用已有成熟稳定的遥控器驱动程序，符合用户对电视的使用习惯。

为了达到上述目的，本发明采用以下技术方案予以实现：

基于场景识别的虚拟触摸屏技术的设计方法，通过从帧缓冲中读取应用程序各界面的图像数据信息，预先分析和处理的颜色信息特征，找到场景的特征点集。

当应用程序运行时，仅当接收到用户输入事件时才进行场景识别，即动态地读取帧缓冲中的图像数据，利用场景识别算法判别当前应用的场景。

预先从帧缓冲中读取应用程序各界面的按钮点位置，分析其布局关系，当已识别到正在运行的应用程序的某个场景时，遥控器的按键信息被解析为鼠标箭头在该场景中按钮位置的移动或点击操作。

遥控器对智能操作系统应用程序的控制可被模拟成鼠标的控制操作，即遥控器的按键操作被解释成定位鼠标箭头到当前界面的某个点处(一般是某个按钮上方)，并执行点击操作。为此，需要预先获取应用程序中的控制界面(即包含按钮点的应用界面，称为“场景”，可从帧缓冲设备中读取)，提取这些场景的中按钮点位置，使得当应用运行到该场景时，遥控器的按键操作可被解释为依次将鼠标箭头移动到这些位置，或进行点击操作。

不同场景的按键信息不同，故需要识别当前场景属于应用程序所有界面中的某一个，即场景识别算法。该算法根据预先获得的应用程序的各个场景的图像信息，分析这些场景中颜色信息不同点(即特征点)的位置。每个特征点表示成集合的一个元素A，A包含Rxy和RRGB两个属性，分别表示其坐标位置和颜色值(RGB三色值)。场景中的特征点构成特征点集S i(1≤i≤N，N表示场景的个数)，而该款应用程序中的所有场景中的特征点共同构成超集S，即Si∈S。则场景识别算法表述如下：

1)当应用程序运行时，通过读取当前场景中图像数据信息，记为P，此时i赋值为1，转入2)；

2)根据特征点集Si的Rxy属性，从P中读出Si中元素在Rxy处点的实际颜色值BRGB，若存在对应元素的RRGB不等于BRGB，则转入3)，否则转入4)；