[发明专利]一种基于视觉与声纹融合的自引导自调适移动检测系统及方法

权利要求书

1.一种基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，包括视觉异常检测模块、音频异常检测模块和视觉场景复原模块，所述视觉异常检测模块搭载于巡检机器人的前端摄像装置，所述音频异常检测模块搭载于巡检机器人的前端敲击检测装置，所述视觉场景复原模块搭载于后台控制端，其中：

所述视觉异常检测模块包括：

图像信号采集单元，用于将检测路径上的各个检测点的图像信号采集下来；

图像信号分析单元，用于分析图像信号的像素特征来获得图像信息；

图像信号二级检测单元，用于将多光源下的图像信号的法向量作为输入，通过视觉算法实现恢复结构表面的表面梯度、曲率信息；

边缘检测识别单元，用于通过输入表面梯度与曲率信息，将结构表面的损伤转换成边缘梯度图，引导敲击系统对损伤区域位置进行敲击检测，进而获得损伤的深度信息；

所述音频异常检测模块包括：

声音信号接收单元，用于将系统采集的连续声音信号依据检测的时间序列依次导入；

声音信号分析单元，用于分析不同时间段的声音信号组的声纹特征，并对比各项声纹特征是否发生变化；

声音信号匹配单元，用于通过调整敲击检测的频率和冲击度激发相匹配的损伤的声纹特征，进而通过机器学习分类算法获得深度损伤的的损伤深度信息；

所述视觉场景复原模块包括：

复原信息接收单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息导入该模块中；

复原信息融合单元，用于将损伤深度信息和通过视觉算法得到的表面梯度、曲率信息进行融合。

2.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述图像信号分析单元获得的图像信息根据结构检测划分为多个敲击检测区域，并引导敲击检测区域，以实现自引导功能。

3.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述图像信号二级检测单元中使用的视觉算法为光度立体法。

4.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述声音信号分析单元中获得的声纹特征包括波长、强度、衰减特性和声波频谱。

5.根据权利要求1所述的基于视觉与声纹融合的自引导自调适移动检测系统，其特征在于，所述声音信号匹配单元中采用的机器学习分类方法为聚类算法和分类算法。

6.一种基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，包括：

S1、图像检测步骤：

S1.1通过巡检机器人的前端摄像装置，在检测路径的各个检测点上采集图像信号，将采集的图像信号导入视觉异常监测模块；

S1.2通过分析步骤S1.1中的图像信号的像素特征，并对比各项像素特征，如果发生变化，则执行步骤S1.3，否则，重复步骤S1.1；

S1.3将多光源下的图像信号的法向量作为输入，通过光度立体法恢复结构表面的表面梯度、曲率信息，同时，将结构表面的损伤通过边缘检测识别单元转换成边缘梯度图；

S2、声音检测步骤：

S2.1根据步骤S1.3中获得的边缘梯度图的引导来进行敲击检测，收集敲击检测过程中产生的连续声音信号，根据采集时间序列依次导入音频异常检测模块；

S2.2分析不同时间段的声音信号组的波长、强度、衰减特性、声波频谱等声纹特征，并对比各项声纹特征，如果发生变化，则执行步骤S2.3，否则，重复步骤S2.1；

S2.3调整敲击检测的频率、强度，将各项声纹特征所构成的特征向量作为输 入，导入音频异常检测模块，通过机器学习分类算法输出损伤深度信息；

S3、复原步骤：

S3.1将步骤S1.3中通过光度立体法得到的表面梯度、曲率信息与步骤S2.3中通过聚类算法得到的损伤深度信息进行融合；

S3.2根据步骤S3.1中融合的信息复原出整个检测过程中损伤的三维信息。

7.根据权利要求6所述的基于视觉与声纹融合的自引导自调适移动检测方法，其特征在于，所述步骤S2.1中声音信号的采集与所述步骤S1.1中多光源的图像信号采集同时进行。