[发明专利]一种基于鼠标的语音识别人机交互方法

摘要

本发明公开了一种基于鼠标的语音识别人机交互装置及其方法，包括集成语音采集功能的鼠标和集成语音识别功能鼠标驱动程序，鼠标内集成有控制语音识别启动、停止的语音按键、采集语音的专用麦克风、语音编解码芯片、指示识别状态的专用LED指示灯，鼠标通讯用的USB HUB芯片或者RF芯片和鼠标传统功能的鼠标芯片。所述鼠标驱动程序包括离线命令词语音识别模块、离线随意语音转写模块、在线随意语音转写模块、语音识别引擎自动选择模块、语义理解模块和计算机操作控制模块。本发明的有益效果是通过本发明可以在鼠标传统功能基础上充分发挥多种语音识别交互技术的优势特点，降低人机交互的复杂度，提高人机交互效率。

主权项

一种基于鼠标的语音识别人机交互的方法，其特征是它包括具有语音采集功能的鼠标和集成语音识别处理能力的鼠标驱动程序，所述鼠标内集成有鼠标芯片、语音识别按键、麦克风、语音编解码模块和LED指示灯，所述鼠标芯片和语音编解码模块通过USB HUB芯片/RF芯片与计算机内的鼠标驱动程序通信，所述鼠标驱动程序包括离线命令词语音识别模块、离线随意语音转写模块、在线随意语音转写模块、语音识别引擎自动选择模块、语义理解模块和计算机操作控制模块，该方法步骤如下：（1）、在鼠标内集成的麦克风实时采集语音信息，采集到的语音通过语音编解码模块处理后上传至计算机，计算机内安装的鼠标驱动程序实时接收语音信息；（2）、鼠标驱动程序同时检测鼠标上的语音识别按键，当按键按下时，鼠标驱动程序启动录音功能，LED指示灯亮，松开语音识别按键时，录音结束；（3）、在启动录音功能之后启动语音识别引擎自动选择模块，根据特定的逻辑完成离线命令词语音识别模块、离线随意语音转写模块、在线随意语音转写模块之间的自动选择，具体选择逻辑如下：首先判断是否有文本输入的光标聚焦，如果没有文本输入光标聚集，启动离线命令词语音识别模块，将离线命令词语音识别模块返回值作为我们的结果，启动语义理解模块对识别结果进行分析处理，根据分析结果启动计算机操作控制模块完成计算机控制操作；如果有文本输入光标聚集时，启动离线命令词语音识别模块，并判断是否计算机在线，离线时，启动离线随意语音转写模块，在线时，启动在线随意语音转写模块，获得两个识别结果返回值；再判断离线命令词语音识别模块返回的置信度，根据置信度判断，当置信度高于设定的预设值时，则将离线命令词语音识别模块返回值作为我们的结果，启动语义理解模块对识别结果进行分析处理，根据分析结果启动计算机操作控制模块完成计算机控制操作；当置信度低于设定的预设值时，则启动文本输入功能，将在线或离线随意语音转写作为我们的结果，并完成文本输入；（4）、在完成录音和语音识别引擎自动选择模块选择后，将录音信息提交给离线命令词语音识别模块，返回识别结果，LED灯熄灭。