[发明专利]一个基于多媒介用户交互的电子绘画创作的方法

说明书

技术领域

本发明涉及电子绘画创作的方法的人机交互技术，尤其涉及一个基于多媒介用户交互的电子绘画创作的方法。

背景技术

绘画是很多人喜闻乐见的艺术形式，但是有很多具有丰富的想象力和理解力的人都不具备熟练的绘画能力，为了能够最大程度的帮助用户把想到的内容用绘画的形式表现出来，我们发明了这个通过语音、手势和表演来进行绘画的系统。到目前为止，主流的在电脑上绘画的方式是通过电子画笔在画布上绘画，这种绘画方式对绘画的技巧要求很高，对于大多数喜欢画画却又不精通绘画技巧的用户来说有一定难度。因此，我们发明了这种可以通过语音，手势或者表演来进行绘画的方式，使得用户可以通过多种途径来绘画，从而更好的表现想要绘画的内容。这项发明的贡献在于提出了是一种新型的基于对用户的语音、手势和表演的识别，以及眼球跟踪的多媒体人机交互技术。

在对媒体人机交互技术方面，最早提出多样化人机交互方式的是在二十多年前，Richard(Richard A.B.1980.“Put-That-There”：Voice and Gesture at theGraphics Interface)开发了一个“Put-That-There”的系统，在该系统中，用户可以通过手势和语音命令将二维图形对象放到一个很大的屏幕上；早期的基于手势的用户界面是et al(K.W.Hübner，and K.Given：Gesture driven interactions in virtual environments；a toolkit approach to 3Dinteractions.In Interfaces to Real and Virtual Worlds，1992)为虚拟现实程序开发的，在他们的系统中将手势与预先定义好的符号信息对应起来，通过手势来激活系统中的命令。人手跟踪是手势界面中非常重要的一种方法，最早的没有使用数字化手套而是使用计算机视觉技术来进行人手跟踪的系统是Krueger开发的声音位置(VOICEPLACE)系统(Krueger，M.VIDEOPLACE and the Interfaceof the Future.In The Art of Human Computer Interface Design.Addison Wesley，Menlo Park，CA.pp.417-422.1991)，在他们的系统中，手的轮廓线用来生产二维图画。在我们的系统中我们同样使用了手的轮廓线作为图片搜索的输入。除了基于手势的用户界面，另外的非传统的人机交互方法是基于语音的用户界面和基于眼球跟踪的用户界面。在(Richard A.B.Eyes at the interface.Conference onHuman Factors in Computing Systems.pp.360-362.1982)所提出的系统中，第一次使用了眼球跟踪的方法使得用户能够通过眼球跟踪选择图片。在本发明中，我们同样使用了眼球跟踪的方法来实现图片的选择和图像分割元素的选择。

语音识别的研究工作开始于50年代，迄今为止，在Windows XP中所包含的语音识别功能，特别是与Office XP的软件合用时，能够显著增强诸如游戏、数据输入或者文字编辑领域的计算功能；IBM也推出了语音识别输入系统，也有一系列的商用的和开源的语音识别软件，都从某种程度上改变了用户和计算机的交互方式。语音识别已经是一项相对成熟的技术；电脑对人的手势和表演的识别也是今年来研究的热点，在计算机视觉领域，有很多科学家致力于通过摄像头获取用户的手势和其他肢体语言，然后分析其意义的研究。眼球跟踪技术是一项有趣而且有很多实际应用价值的研究，事实上，在网络上已经有很多开源的追踪用户眼球的项目，可以实现通过摄像头观察用户眼球的活动，并且定位用户的目光注视着屏幕的哪个区域。因此，本发明采用了已有的语音识别技术、手势和表演的识别技术和眼球跟踪技术，主要贡献在于提出了一种新型的，能够更好的帮助用户进行绘画创作的多媒体绘画系统，同时本发明也考虑了儿童和残疾人的需求。

发明内容

本发明的目的是克服现有技术的不足，提供一个基于多媒介用户交互的电子绘画创作的方法。

基于多媒介用户交互的电子绘画创作的方法使用绘图软件绘制的元素和从图片中提取的绘画元素组成绘画的内容，用户通过静态手势和语音调整每个绘画元素的大小和位置，其特征在于使用从图片中提取的绘画元素组成绘画的内容包括如下步骤：

1)用户通过语音、静态姿势、动态肢体表演或者素描绘画的方法，从图片素材库中搜索候选图片集；