[发明专利]基于组合特征的汉语声韵母可视化方法

权利要求书

1.一种基于组合特征的汉语声韵母可视化方法，其特征是：

1.1、语音信号预处理

通过麦克风输入语音信号，由处理单元采样量化后获得相应语音数据，然后进行预加重、分帧加窗和端点检测；

1.2、特征提取

(a) 计算出预处理后的语音信号的帧数作为其音长特征；

(b) 采用频域峰值幅度大小和平均幅度大小的一种对比关系表示谐振强度特征，对于分帧后的语音信号，每帧语音信号的谐振强度为：

其中，复数表示第个谐波分量变换到频域后的系数；表示该帧信号的谐波个数；表示每帧语音信号的频域变换值；表示取平均值；根据不同类型的识别语音进行调整，其中；

(c) 采用基于Hilbert-Huang变换的方法来估算预处理后的语音信号共振峰特征，得到每帧信号的共振峰特征值F1，F2，F3；

（d）计算出基于小波包变换的语音信号鲁棒特征参数WPTC：WPTC1～WPTC20；

（e）计算出基于MUSIC和感知特性的鲁棒特征参数PMUSIC-MFCC：PMUSIC-MFCC1～PMUSIC-MFCC 12；

1.3、宽度信息编码

采用音长特征来对图像宽度信息进行编码，根据显示区域像素的大小，把音长特征通过线性变换转化为图像宽度信息；

1.4、长度信息编码

采用谐振强度特征来对图像长度信息进行编码，根据显示区域像素的大小，把各帧谐振强度特征平均值通过线性变换转化为图像长度信息；

1.5、主颜色编码

采用共振峰特征来对主颜色信息进行编码，把所有的共振峰特征值F1，F2，F3分别求平均值，然后通过R=5F1/F3，G=3F3/5F2，B=F2/3F1，将其转换成主颜色信息；

1.6、神经网络设计

所述的神经网络为三层BP神经网络，其中输入层有32个神经元，输出层有6个神经元；

1.7、图案信息编码

WPTC1～WPTC20与PMUSIC-MFCC1～PMUSIC-MFCC 12共32个组合特征作为神经网络的输入，神经网络的输出即为相应的图案信息；神经网络的输出层有6个神经元，均采用二进制编码，共有64个不同的码，其中只用前47个码，依次对应着23个声母b、p、m、f、d、t、n、l、g 、k 、h、 j、 q、 x、 zh、 ch 、sh 、r 、z 、c 、s、 y、 w和24个韵母a 、o 、e i、 u、 ü 、ai、 ei、 ui、 ao、 ou、 iu 、ie 、üe、 er、 an 、en 、in 、un、 ün、 ang、 eng、 ing、 ong；

1.8、图像合成

图像合成时，把宽度信息、长度信息、主颜色信息与图案信息融合在一幅图像中在显示屏上显示。

2.根据权利要求1所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述图像合成时，先获得宽度信息和长度信息确定图像大小，然后在图像位置添加主颜色信息，最后用图案信息置换相应位置的主颜色信息，获得相应的语音图像。

3.根据权利要求1所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述语音信号预处理时，采样量化由处理单元以11.025kHz的采样频率、16bit的量化精度进行；预加重是通过一阶数字预加重滤波器实现，其预加重滤波器的系数取值为0.93-0.97；分帧加窗是以帧长256点的标准进行，并对分帧后的数据加汉明窗处理，端点检测是利用短时能零积法进行。

4.根据权利要求1或2所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述图像宽度信息=音长特征×，的取值以使显示的图像最利于观察者观察识别为原则。

5.根据权利要求1或2所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述图像长度信息=各帧谐振强度特征平均值×，的取值以使显示的图像最利于观察者观察识别为原则。

6.根据权利要求1所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述声母图像的图案为白色质地，所述韵母图像的图案为黑色质地。

7.根据权利要求1所述的基于组合特征的汉语声韵母可视化方法，其特征是：所述采用频域峰值幅度大小和平均幅度大小的对比关系表示谐振强度特征时，以256个点为一帧。