[发明专利]一种基于幼儿教育的多媒体交互系统及方法

权利要求书

1.一种基于幼儿教育的多媒体交互方法，包括以下步骤：

步骤S100：图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；

步骤S200：依据识别出来的内容，制作部位材质；

步骤S300：依据识别出来的内容，从动画库中提取预制动画；

步骤S400：将步骤S200制作的材质赋给S300的预制动画对应的部位，以确保所得即为所画；

步骤S500：将步骤S400最终形成的智能动画通过屏幕显示；

步骤S600：连接Kinect计算机外部设备，通过Kenect与智能动画进行语音交互；

步骤S700：通过Kenect与智能动画进行手势交互；

步骤S800：连接触控屏幕，通过触控屏幕可以与智能动画交互；

所述步骤S100包括步骤S110至步骤S 160:

步骤S110：将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；

步骤S120：将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；

步骤S130：计算所有64个像素的灰度平均值；

步骤S140：将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；

步骤S150：将步骤S140的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；

步骤S 160：将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹；

所述步骤S200包括步骤S210至步骤S220：

步骤S210：存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；

步骤S220：用这五个值从步骤S110备份的32x32尺寸图片里取值像素值,环形渐变颜色制作对应位置材质；

所述步骤S600包括步骤S610至步骤S630：

步骤S610：存储每个动画可以语音交互的内容；

步骤S620：通过Kinect麦克监听语音，将语音输入到计算机；

步骤S630：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话；

所述步骤S700包括步骤S710至步骤S730：

步骤S710：存储每个动画可以手势交互的内容；

步骤S720：通过Kinect将手势输入到计算机；

步骤S730：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。

2.一种基于幼儿教育的多媒体交互系统，其特征在于，包括以下模块：

认知图形模块：用于图片内容识别，该图片来源于可触控手持设备或可触控桌面设备，通过涂鸦软件绘制的静态图；

材质制作模块：用于依据识别出来的内容，制作部位材质；

动画制作模块：用于依据识别出来的内容，从动画库中提取预制动画；

材质更换模块：用于将材质制作模块制作的材质赋给动画制作模块的预制动画对应的部位，以确保所得即为所画；

动画显示模块：用于将材质更换模块最终形成的智能动画通过屏幕显示；

语音交互模块：用于连接Kinect计算机外部设备，通过Kinect与智能动画进行语音交互；

手势交互模块：用于通过Kenect与智能动画进行手势交互；

触屏交互模块：用于连接触控屏幕，通过触控屏幕可以与智能动画交互；

所述认知图形模块包括图片缩小模块、图片转灰度模块、灰度平均值计算模块、灰度平均值比较模块、指纹生成模块和图片指纹对比模块：

图片缩小模块：用于将图片缩小到8x8的尺寸，总共64个像素，用以去除图片的细节，只保留结构、明暗及其他基本信息，摒弃不同尺寸、比例带来的图片差异；同时备份32x32尺寸图片，总共1024个像素，用于提取图片像素信息；

图片转灰度模块：用于将缩小后的图片，转为64级灰度，所有像素点总共只有64种颜色；

灰度平均值计算模块：用于计算所有64个像素的灰度平均值；

灰度平均值比较模块：用于将每个像素的灰度，与平均值进行比较：大于或等于平均值，记为1；小于平均值，记为0；

指纹生成模块：将灰度平均值比较模块的比较结果，组合在一起，构成一个64位的整数，这就是这张图片的指纹；保证所有图片都采用同样次序；

图片指纹对比模块：用于将得到的指纹与图片指纹库做比对，64位中有多少位是不一样的，选择不相同位数最少的图片指纹；

所述材质制作模块包括材质颜色取值坐标确定模块和材质颜色取值模块：

材质颜色取值坐标确定模块：用于存储动画各部位取颜色位置信息，将原始用于比对的图片缩小到32x32像素尺寸，在图片上相同可活动部位取五个像素坐标，四个是极大值—即上下左右角坐标和一个中间值；

材质颜色取值模块：用这五个值从图片缩小模块备份的32x32尺寸图片里取值像素值，环形渐变颜色制作对应位置材质；

所述语音交互模块包括动画语音预制模块、语音采集模块和语音交互模块：

动画语音预制模块：存储每个动画可以语音交互的内容；

语音采集模块：通过Kinect麦克监听语音，将语音输入到计算机；

语音交互模块：依据输入的语音，从数据库中检索该动画会做怎样的反应，动画或做语音对应的动作，或与用户对话；

所述手势交互模块包括动画手势预制模块、手势采集模块和手势交互模块：

动画手势预制模块：存储每个动画可以手势交互的内容；

手势采集模块：通过Kinect将手势输入到计算机；

手势交互模块：依据输入的手势，从数据库中检索该动画会做怎样的反应，动画或做手势对应的动作，或与用户对话。