[发明专利]一种融合多层次信息的海关同义词识别方法

权利要求书

1.一种融合多层次信息的海关同义词识别方法，其特征在于，包括：

步骤1：从海关进出口商品申报文本中提取描述商品属性的要素短语，将相同商品的所述要素短语作为同义词集合，获取多组所述同义词集合形成同义词识别的数据集；

步骤2：将所述同义词集合进行向量编码转换，采用word2vec模型提取所述数据集中同义词的词向量特征，通过sentence-BERT模型提取所述数据集中同义词的句向量特征；

步骤3：把所述词向量特征和所述句向量特征分别送入双通道CNN层中进行特征提取，同时利用BiLSTM+attention网络提取所述同义词的语序信息和关键词信息；

步骤4：将所述语序信息和关键词信息对应的特征进行拼接，再与BiLSTM+attention网络的输出层拼接，送入softmax层进行训练分类，得到同义词类别。

2.根据权利要求1所述一种融合多层次信息的海关同义词识别方法，其特征在于，所述步骤2具体实现方式包括：

步骤21.对所述同义词集合进行预处理，包括：去除特殊字符、停用词、否定词、异义词和全角半角转换；

步骤22.制作句向量sentence-BERT的训练集；

步骤23.采用中文预训练模型作为编码器构建sentence-BERT模型，设置最大句长为256维，超过部分将被截断，在池化层mean-pooling后加入一个512维的全连接层用来微调fine-tune，损失函数为Tanh，所述sentence-BERT模型训练输入两个句子，并根据实际两个句子的接近程度输出两个句向量表示，采用均方误差作为损失函数如公式(1)所示：

其中，y_i是预测标签，是实际标签，N为总样本数；其次将同义词批量送入word2vec模型进行训练；故分别生成sentence-BERT同义词句向量信息和word2vec词嵌入信息。

3.根据权利要求2所述一种融合多层次信息的海关同义词识别方法，其特征在于，所述训练集包括至少一个正样本和至少一个负样本，所述正样本为同义词对，从同一同义词集合中选取两个词构建正样本；所述负样本为非同义词对，从不同同义词集合中选取两个词构建负样本；依照关键词规则进行相似度打分。

4.根据权利要求1所述一种融合多层次信息的海关同义词识别方法，其特征在于，所述步骤3具体实现方式包括：

步骤31.将sentence-BERT同义词句向量信息和word2vec词嵌入信息分别输入到textCNN两个通道作为输入，每个通道包含了3组不同大小的卷积核，计算公式如(2)所示；

其中，表示网络l层对第j个神经元的激活值，f()为激活函数relu，为第i个特征值和当前层第j个特征值的卷积核，M_j为前一层特征数据集合，B^l为偏置项。

5.根据权利要求1或4所述一种融合多层次信息的海关同义词识别方法，其特征在于，所述步骤3具体实现方式还包括：

步骤32.BiLSTM模型提取同义词的语序信息，输出向量经过attention层提取关键词特征，attention层计算公式如下：

e_t＝tanh(w_ts_t+b_t) (3)

e_t表示第t个特征向量的状态向量s_t所确定的能量值；w_t表示第t个特征向量的权重系数矩阵，b_t表示第t个特征向量对应的偏移量。