[发明专利]一种复杂行为序列数据的特征学习方法

权利要求书

1.复杂行为序列数据特征学习方法，是基于人工神经网络学习模型的，其特征在于，具体步骤为：

(1)复杂行为序列数据预处理：从应用系统中收集复杂行为序列数据，假设每条行为事件event有K个字段：其中，A_k为第k个字段可能的取值构成的集合，其大小为m_k＝|A_k|；通过对各个字段的每个取值重新编号，建立一一映射：

f_k:A_k→{1,2,…,m_k}， (1)

即对都有唯一的正整数与之对应，这样便将事件重新表示为event＝(a₁,a₂,…,a_K)；

(2)初始化人工神经网络：神经网络结构包含输入层、隐藏层、输出层；输入为事件，首先经过隐藏层嵌入得到各个字段的嵌入向量，然后向量两两计算内积再加权求和，最后经过标准化输出该事件的概率；训练人工神经网络通常需要迭代求解，为此对模型参数随机赋值作为初始值；该网络主要有两组参数需要求解：每个字段A_k的m_k×d维的嵌入矩阵及字段间的K维对称权重矩阵W∈S^K；嵌入矩阵E^(k)的第i行即为字段集合A_k的第i个取值的d维特征向量，其中d为要学习的特征向量的维数，为模型超参，由用户指定；嵌入矩阵的初始值取均匀分布权重矩阵的初始值取正态分布W_ij～N(0,0.01)；

(3)迭代优化参数：通过随机梯度下降算法，对网络参数进行优化；具体流程为：

(3.0)首先定义单个行为事件的概率表达式：对于一个事件event＝(a₁,a₂,…,a_K)，首先经过神经网络的嵌入层，得到各个字段的d维特征向量(e₁,e₂,…,e_K)，其中e_k为嵌入矩阵E^(k)的第a_k行；对于第i和第j个字段，计算其对应向量的内积作为字段间的相容度：

sij=eiTej,---(2)]]>

然后对两两字段间相容度加权求和，得到该事件的分数，权重由权重矩阵给出：

s(event)＝∑_{1≤i＜j≤K}w_ij·s_ij， (3)

进一步计算该事件的概率：

P(event)=exp(s(event))Σevent′∈Ωexp(s(event′)),---(4)]]>

其中，Ω为所有可能的事件构成的集合，即样本空间；

(3.1)从数据集中抽取若干条数据作为一个批次：

batch＝{event₁,…,event_l}，

输入到神经网络中，利用步骤(3.0)中公式，计算该批次上的负对数似然，即损失函数值

L_batch＝-∑_{event∈batch}log P(event)， (5)

(3.2)对K个嵌入矩阵E⁽¹⁾,E⁽¹⁾,…,E^(K)及权重矩阵W分别计算L_batch上的梯度，得到ΔE⁽¹⁾,ΔE⁽²⁾,…ΔE^(K)与ΔW；

(3.3)对嵌入矩阵及权重矩阵按负梯度方向进行更新：

E^(k)：＝E^(k)-α·ΔE^(k),W：＝W-α·ΔW， (6)

其中α>0为学习速率，为模型超参，由用户指定；

(3.4)重复步骤(3.1)～(3.3)，直至参数收敛或达到最大迭代次数；

(4)取出特征向量：如步骤(2)中所述，抽取指定实体的嵌入矩阵即为对应字段的特征向量矩阵，矩阵的第i行即为该字段第i个取值的特征向量。