[发明专利]基于重叠变换压缩编码的错误隐藏帧重建方法

摘要

本发明属于音频信号处理领域，其特征在于，依次含有以下步骤：提取信号子带内的时域瞬态特征，并提取帧间谱相关特征，利用时域瞬态和帧间谱的相关值对错误帧按状态分成两级，共10类状态，根据不同的错误帧状态选择插值方法生成错误帧的频谱系数和频域相位，计算时域信号和前后缘平滑处理。该方法选择不同插值方法生成能代替错误帧的重建信号，以降低错误影响，提高音质。

主权项

1、基于重叠变换压缩编码的错误隐藏帧重建方法，其特征在于，所述方法是在解码端建有子带解码数据缓冲区的数字集成电路或PC机上依次按以下步骤实现的。步骤(1)，解码器把输入的压缩音频信号解码为时域子带信号后，把每一个子带信号缓存量分别送入一个子带瞬态检测器进行瞬态检测，提取时域特征：在解码帧C中，为与发生错误的第一帧Er1和第二帧Er2相邻的两个正确帧C1、C4以及Er1帧各设一个用“1”或“0”表示的瞬态指示标志T，“1”表明被检测的帧存在瞬态，否则为“0”，所述时域特征依次按以下步骤实现：步骤(1.1)，用一个移位器把序列长度为N的子带分割为L个子序列，子序列的长度为K，再把子序列成对组成(L-1)个子序列对；步骤(1.2)，用一个乘累加器计算各子序列l的能量El，l＝1，2，...，L：$E_l=\underset{k=1}{\overset{K}{\Sigma }}{\left(x_{l,k}\right)}^2,$ xl，k是第l个子序列中第k个样值的幅度；步骤(1.3)，用一个乘法器按以下公式，按顺序计算各子序列对间的能量比Rtf，l′及其倒数Rft，l′：$R_{\mathrm{tf},l^{\prime }}=\frac{E_{l^{\prime }}+E_{l^{\prime }+1}}{E_{l^{\prime }+1}+E_{l^{\prime }+2}},$ $R_{\mathrm{ft},l^{\prime }}=\frac{E_{l^{\prime }+1}+E_{l^{\prime }+2}}{E_{l^{\prime }}+E_{l^{\prime }+1}},$ l′＝1，2，...，L-2，l′是子序列对的序号；步骤(1.4)，用一个运算器按以下公式计算步骤(1.3)得到的能量比序列的方差Vtf及能量比倒数序列的方差Vft：$V_{\mathrm{tf}}=\frac{(L-2)·\underset{l^{\prime }=1}{\overset{(L-2)}{\Sigma }}{R}_{\mathrm{tf},l^{\prime }}^2-{\left(\underset{l=1}{\overset{(L-2)}{\Sigma }}{R}_{\mathrm{tf},l^{\prime }}\right)}^2}{(L-2)·((L-2)-1)},$ $V_{\mathrm{ft}}=\frac{(L-2)·\underset{l^{\prime }=1}{\overset{(L-2)}{\Sigma }}{R}_{\mathrm{ft},l^{\prime }}^2-{\left(\underset{l^{\prime }=1}{\overset{(L-2)}{\Sigma }}{R}_{\mathrm{ft},l^{\prime }}\right)}^2}{(L-2)·((L-2)-1)};$ 步骤(1.5)用一个比较器把步骤(1.4)得到的Vtf、Vft按以下条件与设定的门限值Gt，其取值范围为Gt∈(1，+∞)进行比较：当Vtf≥Gt或Vft≥Gt时，译码器输出“1”，置T＝1，当Vtf≤Gt且Vft≤Gt时，译码器输出“0”，置T＝0；步骤(2)，用一个快速傅立叶变换FFT电路把步骤(1)所得的子带信号转换到频域，并把得到的频域信号送入一个帧间相关性检测器进行帧间谱相关特征的提取，其步骤依次如下：步骤(2.1)，把解码帧C0、C1、Er1、C4帧的时域序列xC0，xC1，xEr1，xC4变换到频域，获得相应的频谱系数：幅度序列XC0，XC1，XEr1，XC4，相位序列PC0，PC1，PEr1，PC4；步骤(2.2)按下式计算之间，之间和之间的频谱相关系数：r0，r1，r2：$r=\frac{r_{\mathrm{AB}}}{\sqrt{r_{\mathrm{AA}}*r_{\mathrm{BB}}}},$ r取值范围为：[0，1]，“0”表示两输入序列不相关，“1”表示两输入序列线性相关，其中，A、B是步骤(2.1)中所述的信号频谱幅度序列，序列长度均为N，An、Bn分别是序列A与B的第n个样值，n＝1，2，...，N，rAB是序列A、B间的互协方差：$r_{\mathrm{AB}}=N\underset{n=1}{\overset{N}{\Sigma }}{A}_n{B}_n-\underset{n=1}{\overset{N}{\Sigma }}{A}_n\underset{n=1}{\overset{N}{\Sigma }}{B}_n,$ rAA、rBB是A、B各自的自协方差：$r_{\mathrm{AA}}=N\underset{n=1}{\overset{N}{\Sigma }}{A}_n^2-{\left(\underset{n=1}{\overset{N}{\Sigma }}{A}_n\right)}^2,$ $r_{\mathrm{BB}}=N\underset{n=1}{\overset{N}{\Sigma }}{B}_n^2-{\left(\underset{n=1}{\overset{N}{\Sigma }}{B}_n\right)}^2,$ 步骤(2.3)，用下式计算频谱能量E：$E=\underset{k=1}{\overset{K}{\Sigma }}{\left[X\left(k\right)\right]}^2,$ 其中，K是步骤(1.1)所述子序列信号转换到频域后的信号频谱幅度序列的长度，用频点数表示，X(k)是序列第k个频点上的幅度，k＝1，2，...，K；步骤(3)，按以下准则把步骤(1)得到的时域瞬态特征和步骤(2)得到的帧间频谱相关系数送入一个由比较器和译码器组成的具有状态译码功能的状态决策器对错误帧进行状态判断，共输出两大类共7个状态：以错误帧Er1的前一帧C1的瞬态指示标志是“0”或“1”把错误帧依次分成两大类：“0”为稳态，“1”为瞬态，当错误帧为稳态时，所述状态译码器根据设定的相关性判别门限roffo把稳态下错误帧Er1同相邻帧C1、C4和次相邻帧C0间的频谱相关性进行一级分解，分成四个状态：$r_1\ge r_{\mathrm{off}}^o$ 且$r_2\ge r_{\mathrm{off}}^o,$ 为状态一，$r_1<r_{\mathrm{off}}^o$ 且$r_2\ge r_{\mathrm{off}}^o,$ 为状态二，$r_0\ge r_{\mathrm{off}}^o$ 且$r_1\ge r_{\mathrm{off}}^o$ 且$r_2<r_{\mathrm{off}}^o,$ 为状态三，其他，为状态四；其中，roffo的取值范围为：(0.5，1]；当错误帧为瞬态时所述状态译码器根据设定的相关性判别门限roff′把瞬态下错误帧Er1同相邻帧C1，C4间的频谱相关性进行一级分解，分成三个状态：r1≥roff′且r2≥roff′，为状态五，r1＜roff′且r2≥roff′，为状态六，其他，为状态七；其中，roff′的取值范围为：(0.5，1]；步骤(4)，按以下步骤用一个运算器针对步骤(3)中的不同状态选用不同的插值算法求错误帧的频谱幅度XEr1r、XEr2r：对于状态一，采用下述双边线性插值算法求错误帧Er1的频谱幅度XEr1r(k)以及错误帧Er2的频谱幅度XEr2r(k)：$X_{\mathrm{Er}1}^r\left(k\right)=X_{C1}\left(k\right)+a_1\times (X_{C4}\left(k\right)-X_{C1}\left(k\right))$ $X_{\mathrm{Er}2}^r\left(k\right)=X_{C1}\left(k\right)+a_2\times (X_{C4}\left(k\right)-X_{C1}\left(k\right))$ ，k＝1，2，...，K是频点序号，a1，a2是线性插值系数，取值范围均为(0，1)；对状态二，采用残留信息插值算法计算XEr1r(k)、XEr2r(k)：$X_{\mathrm{Er}1}^r\left(k\right)=a_{d1}*X_{\mathrm{Er}1},$ $X_{\mathrm{Er}2}^r\left(k\right)=a_{d1}*X_{\mathrm{Er}1}\left(k\right)+a_{d2}*(X_{C4}\left(k\right)-a_{d1}*X_{\mathrm{Er}1}\left(k\right)),$ k＝1，2，...，K是频点序号，ad1、ad2取值范围依次为：[1，2)以及(0，1)；对状态三，采用能量预测插值算法计算XEr1r(k)、XEr2r(k)：首先，计算C0帧、C1帧的频谱幅度能量：$E_{C0}=\underset{k=1}{\overset{K}{\Sigma }}{\left[X_{C0}\left(k\right)\right]}^2,$ $E_{C1}=\underset{k=1}{\overset{K}{\Sigma }}{\left[X_{C1}\left(k\right)\right]}^2,$ 其次，计算XEr1r(k)、XEr2r(k)：$X_{\mathrm{Er}1}^r\left(k\right)={\mathrm{fa}}_e*X_{C1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right)={\mathrm{fa}}_e*X_{\mathrm{Er}1}^f\left(k\right),$ k＝1，2，...，K是频点序号，fae为能量比的开平方：${\mathrm{fa}}_e=\sqrt{\frac{E_{C1}}{E_{C0}}};$ 对状态四，首先，用状态译码器判断C4的状态，再采取相关插值方法：C4帧、Er1帧皆为稳态时采用一个状态二中相同的残留插值方法，C4帧为稳态，Er1帧为瞬态时，按下式计算Er1帧和Er2帧的频谱幅度值：$X_{\mathrm{Er}1}^r\left(k\right)=X_{\mathrm{Er}1}\left(k\right)$ $X_{\mathrm{Er}2}^r\left(k\right)={\mathrm{fa}}_{\mathrm{de}}*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，fade为衰减因子，取值范围为：(0，1)，C4帧为瞬态，Er1帧为稳态时，采用以下步骤：首先，计算C1帧Er1帧的频谱幅度能量：$E_{C1}=\underset{k=1}{\overset{K}{\Sigma }}{\left[X_{C1}\left(k\right)\right]}^2,$ $E_{\mathrm{Er}1}=\underset{k=1}{\overset{K}{\Sigma }}{[a_b*X_{\mathrm{Er}1}\left(k\right)]}^2,$ ab为比例修正因子，取值范围为：[1，2]，其次，按下式计算Er1帧、Er2帧的频谱幅度值：$X_{\mathrm{Er}1}^r\left(k\right)=a_b*X_{\mathrm{Er}1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right)={\mathrm{fa}}_b*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，fab为C1帧与Er1帧的能量比开平方：${\mathrm{fa}}_b=\sqrt{\frac{E_{C1}}{E_{\mathrm{Er}1}}},$ C4帧、Er1帧皆为瞬态时，按下式计算Er1帧和Er2帧的频谱幅度：$X_{\mathrm{Er}1}^r\left(k\right)=X_{\mathrm{Er}1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right)={\mathrm{fa}}_{\mathrm{de}}*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，其中fade是衰减因子，取值范围是(0，1)；对状态五：采用状态一所述的双边线性插值算法；对状态六：采用状态二所述的残留信息插值算法；对状态七：先用状态译码器判别状态，再分别处理：Er1、C4帧皆为稳态时，采用状态一的双边线性插值算法；Er1帧为稳态，C4帧为瞬态时按下式采用的衰减、淡出的方法：$X_{\mathrm{Er}1}^r\left(k\right)=X_{\mathrm{Er}1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right)={{\mathrm{fa}}_{\mathrm{de}}}^{\prime }*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，其中fade′是衰减因子，取值范围是(0，1)，Er1帧为瞬态，C4帧为稳态时，采用如下按帧间能量比的开平方进行插值的方法：${{\mathrm{fa}}_b}^{\prime }=\sqrt{\frac{E_{C4}}{E_{\mathrm{Er}1}}},$ $E_{\mathrm{Er}1}=\underset{k=1}{\overset{K}{\Sigma }}{\left[X_{\mathrm{Er}1}\left(k\right)\right]}^2,$ $E_{C4}=\underset{k=1}{\overset{K}{\Sigma }}{\left[X_{C4}\left(k\right)\right]}^2,$ $X_{\mathrm{Er}1}^r\left(k\right)=X_{\mathrm{Er}1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right)=a_f*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，af为插值因子，af＝ab′*(fab′-1)+1，ab′为修正因子，范围为(0.5，1]；Er1帧、C4帧皆为瞬态时，按下式利用能量衰减淡出插值求XEr1r(k)，XEr2r(k)，$X_{\mathrm{Er}1}^r\left(k\right)=X_{\mathrm{Er}1}\left(k\right),$ $X_{\mathrm{Er}2}^r\left(k\right){{=\mathrm{fa}}_{\mathrm{de}}}^{\prime }*X_{\mathrm{Er}1}\left(k\right),$ k＝1，2，...，K是频点序号，其中fade′是衰减因子，取值范围是(0，1)；步骤(5)，按以下步骤计算在步骤(3)所述的各种不同状态下错误帧Er1、Er2的频谱相位PEr1r(k)、PEr2r(k)：状态一及三，用寄存器复制C1帧相位PC1(k)，且k＝1，2，...，K，下同：则，$P_{\mathrm{Er}1}^r\left(k\right)=P_{C1}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right)=P_{C1}\left(k\right);$ 状态二、六及七：用寄存器复制C4帧相位PC4(k)：则，$P_{\mathrm{Er}1}^r\left(k\right)=P_{C4}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right)=P_{C4}\left(k\right);$ 状态四：先用比较译码器比较帧间相关性，再用寄存器有选择地复制C1帧和C4帧的相位：当r2-r1≥roff_d′，则：$P_{\mathrm{Er}1}^r\left(k\right)=P_{C4}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right){=P}_{C4}\left(k\right);$ 当r2-r1＜roff_d′，则：$P_{\mathrm{Er}1}^r\left(k\right)=P_{C1}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right)=P_{C1}\left(k\right);$ 其中，roff_d′是设定的相关系数差值门限，取值范围是[0.1，0.4]；状态五：根据瞬态指示标志值T，用寄存器复制相应帧的相位：当T4＝0，复制C4帧相位，则：$P_{\mathrm{Er}1}^r\left(k\right)=P_{C4}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right)=P_{C4}\left(k\right);$ 当T4＝1，复制C1帧相位，则：$P_{\mathrm{Er}1}^r\left(k\right)=P_{C1}\left(k\right),$ $P_{\mathrm{Er}2}^r\left(k\right)=P_{C1}\left(k\right);$ 步骤(6)，按以下步骤把步骤(4)(5)取得的频域信号转换到时域，步骤(6.1)，把步骤(4)求出的频谱幅度、步骤(5)求得的相应的频谱相位按下式用一个运算器求得频谱系数FX(k)，再把把其通过逆快速傅立叶变换得到相位的时域信号样值xr：FX(k)＝X(k)*(cos(P(k))+isin(P(k)))，P(k)是所处理帧第k个频点上的频谱相位，X(k)是所处理帧第k个频点上的频谱幅度，FX(k)是相应于X(k)和P(k)的频谱系数；步骤(6.2)，在稳态下，按以下步骤对得到的时域信号样值xr利用最大相似性进行时域相位匹配：步骤(6.2.1)，用寄存器取出步骤(1)中缓存的错误帧Er1的时域序列xEr1前L个样值作参考序列xh，L取值范围为[int(0.2*K)，int(0.3*K)]，K是序列xEr1的长度，int是取整函数；步骤(6.2.2)，用移位寄存器取出步骤(5)求得的错误帧Er1的时域序列xEr1r的连续L个样值作为测试序列xtestl，l＝1，2，...，L，L的值与步骤(6.2.1)的相同，l是测试序列的序号，也是从xEr1r中取第l个测试序列的起点；步骤(6.2.3)，在运算器上按下式计算L个测试序列与参考序列之间的相似性值C(l)：$C\left(l\right)=\underset{k=1}{\overset{L}{\Sigma }}{x}_{\mathrm{test}}^l(k+l)*x_h\left(k\right),$ 步骤(6.2.4)，用比较器比较步骤(6.2.3)中求得的L个相似性值，取最大值所对应的测试序列的序号，得到匹配值δ；步骤(7)：按以下步骤重建错误帧Er1、Er2：步骤(7.1)，用寄存器重建一个长为2K+M的序列y，$M\in [\frac{1}{2}L,L],$ 前2*(K-δ)个样值是xEr1r和xEr2r的第δ到K个样值组成的序列yo；步骤(7.2)取yo的前2δ+M个序列放在yo之后共同组成序列y；步骤(7.3)取序列y的前K个样值作为序列xEr1rm，次K个样值作为序列xEr2rm，最后M个样值作为可选项后面边缘平滑的数据yl；步骤(8)，按以下步骤分稳态和瞬态两种情况进行前后边缘平滑处理，以减少时频变换带来的边缘突变；步骤(8.1)：进行稳态下的前后边缘平滑处理：步骤(8.1.1)，前边缘平滑处理，用寄存器取步骤(7)得到的xEr1rm的前M个样值，$M\in [\frac{1}{2}L,L],$ 同解码得到的Er1帧xEr1的前M个样值分别在运算器中与一个窗函数相乘后求和，得到平滑后的Er1帧的重建帧xEr1sr：$x_{\mathrm{Er}1}^{\mathrm{sr}}\left(m\right)=x_{\mathrm{Er}1}^{\mathrm{rm}}\left(m\right)*\mathrm{wr}\left(m\right)+x_{\mathrm{Er}1}\left(m\right)*\mathrm{wl}\left(m\right),$ 其中，wl(m)、wr(m)分别是M长的左、右窗函数的第m个样值，m＝1，2，...，M，wl(m)＝0.5(1-cos(2π*(M+m))/(2*M))，wr(m)＝0.5(1-cos(2π*m)/(2*M))；xEr1rm是插值处理生成的帧，xEr1(m)是缓冲保存的解码得到的帧；步骤(8.1.2)，选项进行后边缘平滑处理，寄存器取解码得到的后帧xC4的前M个样值，在一个运算器中，与时域相位匹配中得到的序列yl利用步骤(8.1.1)中的窗函数wr(m)，wl(m)先乘后加，得到后边缘平滑处理后的C4帧的重建帧xC4sr(m)：$x_{C4}^{\mathrm{sr}}\left(m\right)=x_{C4}\left(m\right)*\mathrm{wr}\left(m\right)+y_l\left(m\right)*\mathrm{wl}\left(m\right);$ 步骤(8.2)，在瞬态下只进行前边缘平滑，采用的方法与稳态时相同，但不进行时域相位匹配和后边缘平滑处理。