[发明专利]一种基于神经网络的学者用户画像信息抽取方法及模型

权利要求书

1.一种基于神经网络的学者用户画像信息抽取方法，其特征在于，所述神经网络为Bi-LSTM-CRF神经网络，包括以下步骤：

S1.通过文本预处理过滤掉网页中的文本信息，并删除空白和注释字符，提取得到简化后的内容体；网页文本嵌入在HTML格式标签中，且短文本节点对应一个实体，将标签的文本节点作为基本抽取单元；

S2.对已识别网页所有文本节点及其字符分别构建词库表，并将每个标签的文本节点转为一个n维向量，表示为词向量w；

S3.对文本节点和前后节点的上下文特征进行提取，接着对文本节点序列进行训练，得到包含节点序列上下文信息的词向量h；

S4.用一个全连接层对词向量输出进行解码计算，对应地得到每个词向量对目标标签的得分s，增加一层线性CRF层来计算节点序列的标签概率分布，对模型输出结果进行解码，使目标函数最小时即得到最优的预测标签序列，完成模型构建；

S5.采用优化算法进行模型训练；

所述步骤S4，具体包含以下步骤：

S401.假设已经定义好了r种学者用户目标标签类型，对应有偏置矩阵b∈R^r，有权重矩阵W∈R^r×k，每个词的得分向量为s∈R^r，计算公式s＝W×h+b；

S402.设输入为节点序列w₁，w₂，...，w_m∈Rⁿ，对应的得分向量为s₁，s₂，...，s_m，以及每个实体所对应的标签为y₁，y₂，...，y_m，在这里增加一层线性CRF层来计算节点序列的标签概率分布，线性CRF层的损失计算公式如下：

其中，b和e分别对应起始标签和结尾标签的特征向量，T是状态转移矩阵，表示相邻标签之间的关联和转换关系；

S403.利用该式的递归性质，采用动态规划算法进行求解，时间步[t+1，...，m]的解为每个时间步对应有r种状态转移，则时间步[t，...，m]的解可递归推算公式如下：

S404.将结果输入到softmax函数，得到标签序列的得分概率分布，定义所有可能序列的概率之和为下式：

设Z_t(y_t)为第t步时，以y_t为标签起始的序列，同样根据递归的性质，将该步的概率分布计算过程转换公式如下：

最后得到标签序列的概率计算公式

S405.设为正确的标注序列，定义模型的目标函数为上述序列概率的交叉熵，交叉熵计算公式为：

对模型输出结果进行解码，使目标函数最小时即得到最优的预测标签序列。

2.根据权利要求1所述基于神经网络的学者用户画像信息抽取方法，其特征在于，所述步骤S2，具体包含以下步骤：

S201.采用Word2Vec算法对文本节点进行训练得到词向量w_w2v，w_w2v构成词向量的第一部分；

S202.通过Bi-LSTM网络对单词进行字母级别的映射，合并最后的隐状态输出，得到一个固定长度的词向量w_chars，该词向量代表了词语中字符级层面的特征，w_chars构成词向量第二部分；

S203.将w_w2v和w_chars合并得到一个n维词向量w。

3.根据权利要求2所述基于神经网络的学者用户画像信息抽取方法，其特征在于，步骤S202中，所述词语中字符级层面的特征包括首字母大小写、字母顺序。

4.根据权利要求1所述基于神经网络的学者用户画像信息抽取方法，其特征在于，步骤S1中，所述文本信息包括头信息、无效标签、样式表、JS脚本。

5.一种基于神经网络的学者用户画像信息抽取模型，应用于权利要求1至4中任一项所述的基于神经网络的学者用户画像信息抽取方法，其特征在于：包括输入层、词向量表示层、节点序列表示层、标签序列CRF计算层和输出层；其中，输入层负责接收预处理后的网页文本节点序列；词向量表示层将每个标签的文本节点转为一个n维向量，表示为词向量；节点序列表示层对文本节点和前后节点的上下文特征进行提取，对文本节点序列进行训练，得到包含节点序列上下文信息的词向量；标签序列CRF计算层计算节点序列的标签概率分布；输出层将模型输出训练；其中所述神经网络为Bi-LSTM-CRF神经网络。