[发明专利]基于异常声音和图像事件驱动的智能服务机器人及方法

权利要求书

1.一种基于异常声音和图像事件驱动的智能服务机器人的处理方法，其特征在于在正常情况下，智能服务机器人停在原处或者在指定区域移动，当听到或者看到有异常的事件时，则导航到事件发生的地点，融合声音和图像进一步识别该事件并根据识别结果做相应处理；

具体步骤如下：

1)正常情况下，移动机器人单元(1)停在原处或者在指定区域移动；

2)同时声音和图像事件控制单元(3)通过声音和图像传感器(2)获取声音和图像信息；

3)若声音和图像事件控制单元(3)识别到声音和图像异常事件，则定位事件发生的位置；

4)声音和图像事件控制单元(3)控制移动机器人单元(1)导航到事件发生位置；

5)声音和图像事件控制单元(3)融合声音和图像进一步识别该事件；

6)若判断为异常事件，则声音和图像事件控制单元(3)发送事件预警信息给远程客户端(12)；

7)若判断为正常事件，则返回到步骤1)；

所述声音和图像事件控制单元(3)对于异常事件的识别、定位以及导航步骤如下：

1)移动机器人单元(1)上的声音和图像事件控制单元(3)通过Kinect传感器内部的麦克风阵列(4)获取异常声音信号；

2)声音和图像事件控制单元(3)中的计算机(9)首先对获取的声音信号进行端点检测、分帧加窗处理，通过倒谱分析提取声音信号的特征梅尔频率倒谱系数，采用支持向量机对特征系数进行分类，得到声音信号的分类结果；

3)若分类结果为异常事件，声音和图像事件控制单元(3)中的声音和图像采集模块(10)获取麦克风阵列(4)的声音信号数据，计算机(9)对声音信号数据进行分帧加窗处理后，声音信号矩阵和背景噪声矩阵进行广义特征值分解，将分解的噪声特征向量构造空间谱函数，通过求解极大值得到异常事件发生的方位角；

4)移动机器人单元(1)得到异常事件的方位角后，计算机(9)通过串口通讯模块(11)向控制器(8)发送方位角，控制器(8)调整移动机器人单元(1)向异常事件的发生位置移动；同时控制器(8)根据移动机器人单元(1)的运动距离，结合方位角利用三角测量得到异常事件发生的位置距离；

5)在移动机器人单元(1)移动过程中，根据障碍检测传感器(7)获取障碍物区域，选择非障碍物区域移动，重复步骤4)，最终移动机器人单元(1)到达异常事件发生位置。

2.根据权利要求1所述的基于异常声音和图像事件驱动的智能服务机器人的处理方法，其特征在于所述的声音和图像事件控制单元(3)融合声音和图像进一步识别事件的具体步骤如下：

1)移动机器人单元(1)到达发生事件的位置后，声音和图像采集模块(10)读取声音和图像传感器(2)采集人的语音信号和人脸图像；

2)声音和图像事件控制单元(3)提取语音信号的特征梅尔频率倒谱系数进行矢量量化的说话人识别，同时声音和图像事件控制单元(3)使用Haar分类器对人脸图像进行人脸检测，定位人脸区域，然后声音和图像事件控制单元(3)对人脸区域进行分块，将小波分解和奇异值分解结合提取人脸特征，最后采用稀疏表示进行人脸识别；

3)声音和图像事件控制单元(3)在做决策时，采用模糊积分融合语音和人脸，将说话人识别和人脸识别的匹配相似度进行归一化处理分别作为语音和人脸的分类证据，将说话人识别和人脸识别的识别率分别作为语音和人脸的模糊密度，最后通过模糊积分进行非线性加权决策得到最终身份验证的结果，再将分析结果通过网络发送到远程客户端(12)。