[发明专利]用于知识产权领域的自然语言处理系统以及自然语言处理方法

权利要求书

1.一种自然语言处理(Natural Language Processing；NLP)系统，用于具有特定文本规范的知识产权领域，用以将文本转化产生具有领域适应性的文本标签，所述自然语言处理系统包括：

文意深度学习模块，用以接收所述文本，以产生文本文意表征；

规范用语数据处理单元，包括字符串比对模块与神经网络数据处理模块，所述字符串比对模块是用以接收所述文本，并利用预定的知识产权字典库比对所述文本以产生第一输入信息，所述神经网络数据处理模块是用以接收所述第一输入信息，并依据所述第一输入信息产生文本规范表征；以及

结合学习单元，包括结合模块与分类器，所述结合模块是用以结合所述文本文意表征与所述文本规范表征，以产生一第二输入信息，所述分类器是用以接收所述第二输入信息，以产生所述文本标签。

2.如权利要求1所述的自然语言处理系统，其特征在于，其中所述文本是一训练文本，所述训练文本具有既定的比对标签，所述自然语言处理系统更包括训练模块，所述训练模块是用以撷取所述比对标签，并依据所述文本标签与所述比对标签间的损失函数(lossfunction)修正所述文意深度学习模块的第一参数、所述神经网络数据处理模块的第二参数与所述分类器的第三参数。

3.如权利要求2所述的自然语言处理系统，其特征在于，其中所述损失函数是均方误差(Mean square error,MSE)或平均绝对值误差(Mean absolute error,MAE)。

4.如权利要求1所述的自然语言处理系统，其特征在于，其中所述文意深度学习模块是选自于由BERT、RoBERTa、或ALBERT所组成的卷积神经网络(Convolutional NeuralNetwork；CNN)族群中的至少一个。

5.如权利要求1所述的自然语言处理系统，其特征在于，其中所述神经网络数据处理模块是利用独热编码(One Hot Encode)产生所述文本规范表征。

6.如权利要求1所述的自然语言处理系统，其特征在于，其中所述分类器是Softmax分类器。

7.如权利要求1所述的自然语言处理系统，其特征在于，其中所述结合模块将所述文本文意表征与所述文本规范表征结合以产生所述第二输入信息的结合方法是是将所述文本文意表征与所述文本规范表征的向量直接合并、或以所述文本规范表征作为权重与所述文本文意表征合并。

8.一种自然语言处理方法，用于具有特定文本规范的知识产权领域，用以将文本转化产生具有领域适应性的文本标签，所述自然语言处理方法包括：

将所述文本提供至文意深度学习模型，以产生文本文意表征；

利用预定的知识产权字典库比对所述文本以产生第一输入信息；

将所述第一输入信息提供至神经网络模型，以产生文本规范表征；

结合所述文本文意表征与所述文本规范表征，以产生一第二输入信息；以及

依据所述第二输入信息进行分类，以产生所述文本标签。

9.如权利要求8所述的自然语言处理方法，其特征在于，其中所述文本是一训练文本，所述训练文本具有既定的比对标签，在产生所述文本标签之步骤后，更包括依据所述文本标签与所述比对标签间的损失函数(loss function)修正所述文意深度学习模型、所述神经网络模型与所述分类器的参数。

10.如权利要求9所述的自然语言处理方法，其特征在于，其中所述损失函数是均方误差(Mean square error,MSE)或平均绝对值误差(Mean absolute error,MAE)。

11.如权利要求8所述的自然语言处理方法，其特征在于，其中所述文意深度学习模型是由选自于由BERT、RoBERTa、或ALBERT所组成的卷积神经网络(Convolutional NeuralNetwork；CNN)族群中的至少一个所提供。