[发明专利]一种基于人工智能和物联网相结合的多媒体互动展示系统

权利要求书

1.一种基于人工智能和物联网相结合的多媒体互动展示系统，其特征在于：包括互动模式选择模块、语音数据采集模块、语音数据处理模块、语音内容识别模块、有效句提取模块、手势图像采集模块、手势图像处理模块、偏转角度获取模块、偏转角度矫正模块、分析服务器、互动展示模块和存储数据库；

所述互动模式选择模块分别与语音数据采集模块和手势图像采集模块连接，语音数据处理模块分别与语音数据采集模块和语音内容识别模块连接，有效句提取模块分别与语音内容识别模块和分析服务器连接，手势图像处理模块分别与手势图像采集模块和偏转角度获取模块连接，偏转角度矫正模块分别与偏转角度获取模块和分析服务器连接，分析服务器分别与互动展示模块和存储数据库连接；

所述互动模式选择模块用于对多媒体互动展示厅的互动模式进行选择，通过操作人员进入多媒体互动展示厅内互动操作区域中选择互动模式，若操作人员选择多媒体互动展示厅的语音互动模式，则发送语音采集指令至语音数据采集模块，若操作人员选择多媒体互动展示厅的手势动作互动模式，则发送图像采集指令至手势图像采集模块；

所述语音数据采集模块用于接收互动模式选择模块发送的语音采集指令，对多媒体互动展示厅内互动操作区域中发出的语音指令数据进行采集，获取多媒体互动展示厅内互动操作区域中发出的语音指令数据，将多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音数据处理模块；

所述语音数据处理模块用于接收语音数据采集模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令数据，采用语音数据处理技术对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行处理，得到处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，将处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据发送至语音内容识别模块；

所述语音内容识别模块用于接收语音数据处理模块发送的处理后的多媒体互动展示厅内互动操作区域中发出的语音指令数据，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令数据进行内容识别，获取多媒体互动展示厅内互动操作区域中发出的语音指令内容，将多媒体互动展示厅内互动操作区域中发出的语音指令内容发送至有效句提取模块；

所述有效句提取模块用于接收语音内容识别模块发送的多媒体互动展示厅内互动操作区域中发出的语音指令内容，对接收的多媒体互动展示厅内互动操作区域中发出的语音指令内容进行无实义助词和部分停顿词的过滤，提取多媒体互动展示厅内互动操作区域中发出的有效句内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容发送至分析服务器；

所述分析服务器用于接收有效句提取模块发送的多媒体互动展示厅内互动操作区域中发出的有效句内容，提取存储数据库中存储的多媒体互动展示厅的各标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容进行对比，统计多媒体互动展示厅内互动操作区域中发出的有效句内容与各标准互动指令内容的符合度，筛选多媒体互动展示厅内互动操作区域中发出的有效句内容对应的符合度最大的标准互动指令内容，将多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容发送至互动展示模块；

所述手势图像采集模块用于接收互动模式选择模块发送的图像采集指令，对多媒体互动展示厅内互动操作区域中手势指令图像进行采集，获取多媒体互动展示厅内互动操作区域中手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令图像发送至手势图像处理模块；

所述手势图像处理模块用于接收手势图像采集模块发送的多媒体互动展示厅内互动操作区域中手势指令图像，对接收的多媒体互动展示厅内互动操作区域中手势指令图像进行图像处理，得到多媒体互动展示厅内互动操作区域中手势指令处理图像，将多媒体互动展示厅内互动操作区域中手势指令处理图像发送至偏转角度获取模块；

所述偏转角度获取模块用于接收手势图像处理模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像，分别测量多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，获取多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，将多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度发送至偏转角度矫正模块；

所述偏转角度矫正模块用于接收偏转角度获取模块发送的多媒体互动展示厅内互动操作区域中手势指令处理图像相对于垂直平面的偏转角度和相对于水平平面的偏转角度，采用图像矫正技术对多媒体互动展示厅内互动操作区域中手势指令处理图像进行矫正处理，得到多媒体互动展示厅内互动操作区域中手势指令矫正图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像发送至分析服务器；

所述分析服务器用于接收偏转角度矫正模块发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像，提取存储数据库中存储的多媒体互动展示厅的各标准手势指令图像，将多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像进行对比，统计多媒体互动展示厅内互动操作区域中手势指令矫正图像与各标准手势指令图像的相似度，筛选相似度最大的标准手势指令图像，获得多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，将多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令发送至互动展示模块；

所述存储数据库用于存储多媒体互动展示厅的各标准互动指令内容，同时存储多媒体互动展示厅的各标准手势指令图像；

所述互动展示模块用于接收分析服务器发送的多媒体互动展示厅内互动操作区域中发出的有效句内容对应的标准互动指令内容，并进行对应互动指令内容的展示，同时接收分析服务器发送的多媒体互动展示厅内互动操作区域中手势指令矫正图像对应的标准手势指令，并进行对应手势指令的展示。