[发明专利]基于深度神经网络与条件随机场的对话行为识别方法

摘要

本发明公开了一种基于深度神经网络与条件随机场的对话行为识别方法，步骤是(1)对数据集中的汉语口语语料进行预处理，提取多模态特征；(2)构造条件随机场模型；(3)基于多模态深度神经网络构造条件随机场模型的状态特征函数(4)最大化对数似然函数，求解条件随机场模型参数，(5)通过求解整段对话的对话行为序列，得到该段对话中对应的每个语句的对话行为。本发明不仅能从原始特征中学到与分类任务更加相关的抽象特征，而且可对对话行为中的多模态信息进行更加高效的融合，为后续的分类任务奠定良好的基础，同时，可更好地刻画样本类标的序列依赖关系，提出以条件随机场为主体框架，从而对每段对话进行整体优化。

主权项

一种基于深度神经网络与条件随机场的对话行为识别方法，其特征在于，包括以下步骤：步骤一、设数据集中包括汉语口语语料，该数据集其中M表示数据集中完整对话的数目，Nm表示M对话数目的第m段对话中包含的语句数目，表示第m段对话的第n句语句的第j个模态的特征，表示第m段对话的第n句语句的对话行为标签，L表示从每个语句提取的多模态特征的模态总数，L＝10；其中，从每个语句中提取多模态特征所涉及到的因素包括：语句的基频和能量；该语句句末语调的基频和能量；该语句中重音的基频、能量和时长及该重音在该语句中的位置；该语句的时长、该语句在对话中的位置、说话人的性别、该语句中所用到的语气词；最终得出10种，共计116维的多模态特征，具体内容如下：模态1：语句在对话中的相对位置、语句占对话的相对时长、说话人的性别、说话人是否发生变化、语气词；模态2：语句重音的相对位置，时长，基频的最大值和最小值、均值、最大值和最小值的差值，能量的最大值和最小值、均值、最大值和最小值的差值；模态3：语句基频的均值、方差、最大值、最小值、均值与最大值的差值、均值与最小值的差值、四分位差、峰度、偏度；模态4：语句基频采样值平均分成10份，每份取均值进行重新采样；模态5：语句能量的均值、方差、最大值、最小值、均值与最大值的差值、均值与最小值的差值、四分位差、峰度、偏度；模态6：语句能量采样值平均分成20份，每份取均值进行重新采样；模态7：句末语调对应的基频的均值、方差、最大值、最小值、均值与最大值的差值、均值与最小值的差值、四分位差、峰度、偏度；模态8：句末语调对应的基频采样值平均分成5份，每份取均值进行重新采样；模态9：句末语调对应的能量的均值、方差、最大值、最小值、均值与最大值的差值、均值与最小值的差值、四分位差、峰度、偏度；模态10：句末语调对应的能量采样值平均分成20份，每份取均值进行重新采样；步骤二、构造条件随机场模型：p(Y(m)|X(m))=1Z(X(m))exp{Σi,kλkfk(yi-1(m),yi(m))+Σi,kμkgk(yi(m),{xi(m),j}j=1L}---(1)]]>其中，在公式(1)和公式(2)中，Z(X(m))是归一化因子，表示转移特征函数，表示状态特征函数；λ和μ分别是特征函数的权重，即条件随机场中的参数，λ和μ从训练集中通过学习算法得到；转移状态函数定义为：fy,,y(yu(m),yv(m))=1,ifyu(m)=y,,yv(m)=y0,otherwise---(3)]]>公式(3)中，y’和y分别表示某个对话行为标签，和分别表示第m段对话的第u句和第v句语句的对话行为标签；步骤三、基于多模态深度神经网络构造条件随机场模型的状态特征函数：3‑1.构建多模态深度神经网络：包括多模态特征学习模块和多模态特征融合模块，其中，所述多模态特征学习模块包含L个深度神经网络，用于对每一种原始的多模态特征进行复杂的非线性变换；所述多模态特征融合模块是含有一个隐层的神经网络，用于对上述变换后得到的多模态特征进行融合；3‑2.对原始的多模态特征数据经过上述多模态深度神经网络的处理后，得到每个语句对于每个对话行为的隶属度d＝(d1,d2,…,dp)，p表示对话行为的种数；3‑3.利用上述得到的对话行为的隶属度，定义条件随机场模型的状态特征函数为：gy,{xj}j=1L(yv,{xvj}j=1L)=dt,t=find((y1,y2,...,yp)==y)---(4)]]>步骤四、最大化对数似然函数，求解条件随机场模型参数：maxλ,μ{Σm=1MlogP(Y(m)|X(m);λ,μ)}---(5)]]>步骤五、对话行为类别的推断:Y*=argmaxYP(Y|X(m);λ,μ)---(6)]]>通过求解整段对话的对话行为序列Y*，得到该段对话中对应的每个语句的对话行为。