[发明专利]自然语言处理方法、计算机系统和计算机可读存储介质

说明书

本申请涉及自然语言处理技术，特别涉及用于训练自然语言处理模型的方法、自然语言处理方法、计算机系统和实施上述方法的计算机可读存储介质。在按照本申请一个方面的用于训练自然语言处理模型的方法中，自然语言处理模型包括第一和第二神经网络模型，其中，第一神经网络为通用型自然语言处理模型并且其输入和输出分别为文本数据和相应的特征向量，第二神经网络模型为与指定任务相关的自然语言处理模型并且其输入和输出分别为第一神经网络模型输出的特征向量和关于文本数据的处理结果，包括下列步骤：A、利用自动化自然语言处理技术来确定所述第二神经网络模型的优化配置；B、利用已标注样本来微调所述自然语言处理模型。

技术领域

本申请涉及自然语言处理技术，特别涉及用于训练自然语言处理模型的方法、自然语言处理方法、计算机系统和实施上述方法的计算机可读存储介质。

背景技术

近年来，自动化自然语言处理(Automated Natural Language Processing，以下简称AutoNLP)在学术界和工业界引起了广泛关注，其在消耗有限的计算资源的前提下，尽可能地减少人工参与，用机器自动完成NLP模型的全部或部分配置，最大化NLP模型的分析性能。该技术可以有效缓解NLP应用存在的模型更新频率高、维护周期长等带来的人力成本过高的问题。

另一方面，以BERT为代表的预训练技术也为自然语言处理开辟了一条新的道路。预训练技术的核心在于“大规模未标注语料粗调+小规模标注语料微调”的实现方式，在缺乏标注语料任务的冷启动、相似任务的领域迁移/自适应、非结构化文本数据的特征工程、计算资源有限的线上模型应用等问题中，均具有成功的应用案例，带来了极大的准确率的提升。

但由于AutoNLP和预训练技术所解决的问题类型并不一致，且技术成熟度不一样，目前现有技术中缺少对两者的有效结合的方案。

发明内容

在按照本申请一个方面的用于训练自然语言处理模型的方法中，所述自然语言处理模型包括第一神经网络模型和第二神经网络模型，其中，所述第一神经网络为通用型自然语言处理模型并且其输入和输出分别为文本数据和相应的特征向量，所述第二神经网络模型为与指定任务相关的自然语言处理模型并且其输入和输出分别为第一神经网络模型输出的特征向量和关于文本数据的处理结果，所述方法包括下列步骤：

A、利用自动化自然语言处理技术来确定所述第二神经网络模型的优化配置；以及

B、利用已标注样本来微调所述自然语言处理模型。

在一些实施例中，上述方法进一步包括：

C、利用非标注样本对所述第一神经网络模型进行粗调。

在一些实施例中，所述第一神经网络模型为下列中的一种：BERT模型、XLNet模型和RoBERTa模型。

在一些实施例中，在步骤C中，采用下列方式中的一种来粗调所述第一神经网络模型：隐藏语言模型(Masked LM)和下句预测(Next Sentence Prediction)。

在一些实施例中，步骤A包括：

A1、设定自动化自然语言处理的搜索空间，其中，所述设定包括搜索空间的配置类型和各个配置类型的超参数取值范围；以及

A2、在设定的搜索空间内搜索第二神经网络模型的优化配置。

在一些实施例中，所述配置类型为下列项中的一个或多个：特征工程、分类算法、优化方法和第一神经网络模型的网络结构。可选地，所述特征工程从下列项中选择：主成分分析、线性判别式分析、自编码器和核函数。另外可选地，所述分类算法从下列项中选择：K最临近分类算法、朴素贝叶斯算法、支持向量机算法、梯度提升树算法、随机森林算法、卷积神经网络算法和长短期记忆网络算法。进一步可选地，所述优化方法从下列项中选择：梯度下降算法、随机梯度下降算法、L-BFGS算法、ADAM算法、RMSProp算法。