[发明专利]一种基于多角度的科研项目文本分类装置和方法

权利要求书

1.一种基于多角度的科研项目文本分类装置，其特征在于，包括：预处理模块、特征编码器、交叉注意力机制模块、残差模块和分类器；

所述预处理模块，用于对科研项目文本进行预处理，获得预处理文本，所述预处理文本包括主视图和辅助视图；

所述特征编码器，用于提取所述主视图和所述辅助视图文本字符串的语义特征，以及用于将提取出的所述主视图和所述辅助视图文本字符串的语义特征转化成特征向量，获得主视图特征和辅助视图特征；

所述交叉注意力机制模块，通过将交叉注意力机制用于所述主视图特征和所述辅助视图特征，获得交叉注意力特征；

所述残差模块，用于融合所述交叉注意力特征和所述主视图特征，获得交叉特征；

所述分类器，用于根据预设的项目类别，对所述交叉特征进行分类识别，获得分类结果，所述分类结果为所述科研项目文本属于所述预设的项目类别的概率值。

2.根据权利要求1所述的一种基于多角度的科研项目文本分类装置，其特征在于，所述交叉注意力机制模块根据所述主视图特征获得Query，根据所述辅助视图特征获得Key和Value，再利用放缩点积注意力机制获得交叉注意力特征，所述交叉注意力机制模块的具体计算方法为：

Q＝main view query＝(main view feature)W^Q

K＝side view key＝(side view feature)W^K

V＝side view value＝(side view feature)W^V

式中，main view feature为主视图特征，side view feature为辅助视图特征，Crossview attention为交叉注意力特征，W^Q、W^K、W^V为参数矩阵，d_K为Q、K的列数。

3.根据权利要求1所述的一种基于多角度的科研项目文本分类装置，其特征在于，所述分类器包括第一全连接层和第二全连接层，所述第一全连接层使用ReLU激活函数，所述第二全连接层使用Sigmoid的激活函数。

4.根据权利要求3所述的一种基于多角度的科研项目文本分类装置，其特征在于，所述辅助视图的数量大于或者等于1。

5.根据权利要求4所述的一种基于多角度的科研项目文本分类装置，其特征在于，当所述辅助视图的数量为1时，所述分类器的具体计算方法为：

Classifier(cross feature)＝Activation(max(0,(cross feature)W₁+b₁)W₂+b₂)

式中，cross feature为交叉特征，W₁和W₂为待学习的参数矩阵；b₁和b₂为偏置项。

6.根据权利要求4所述的一种基于多角度的科研项目文本分类装置，其特征在于，当所述辅助视图的数量大于1时，所述分类器的具体计算方法为：

Classifier(cross feature1,cross feature2)＝Sigmoid(max(0,(cross feature1+cross feature2)W₁+b₁)W₂+b₂)

式中，cross feature1为第一交叉特征，cross feature2为第二交叉特征，W₁和W₂为待学习的参数矩阵，b₁和b₂为偏置项。