[发明专利]一种Bert模型预训练方法、系统及计算机设备

权利要求书

1.一种Bert模型预训练方法，其特征在于，包括：

原始数据集获取步骤，用于获取原始数据集；

数据集预处理步骤，用于将所述原始数据集经分词处理得到分词数据集，将所述分词数据集经Word2Vec模型训练得到全部词汇的词嵌入矩阵，并将所述词汇根据出现频率进行排序、编码，得到高频词汇、低频词汇及词汇编码；

Bert模型预训练步骤，用于冻结所述Bert模型的词嵌入矩阵参数并基于所述全部词汇的词嵌入矩阵训练所述Bert模型后，减小学习率并输入所述词汇编码再次训练所述Bert模型。

2.根据权利要求1所述的Bert模型预训练方法，其特征在于，所述数据集预处理步骤进一步包括：

分词数据集获取步骤，用于将所述原始数据集进行分词处理，得到所述分词数据集；

词嵌入矩阵获取步骤，用于将所述分词数据集中的全部词汇输入所述Word2Vec模型训练得到所述全部词汇的词嵌入矩阵；

词汇排序步骤，用于将所述分词数据集中的全部词汇根据出现频率进行排序，根据一设定阈值N将所述分词数据集中词汇分为频率较高的N个高频词汇及剩余的低频词汇；

词汇编码步骤，用于将所述高频词汇根据所述排序进行顺序编码并将所述低频词汇编码为“UNK”，得到所述词汇编码。

3.根据权利要求1或2所述的Bert模型预训练方法，其特征在于，所述Bert模型预训练步骤进一步包括：

部分参数预训练步骤，用于初始化所述Bert模型的词嵌入矩阵的词表大小为N+1，冻结所述Bert模型的词嵌入矩阵参数，输入所述全部词汇的词嵌入矩阵中的词向量至所述Bert模型，以训练所述Bert模型中非词嵌入矩阵参数；

模型参数预训练步骤，用于减小所述Bert模型的学习率，利用所述词向量初始化所述Bert模型的词嵌入矩阵，输入所述词汇编码至所述Bert模型，以训练所述Bert模型的各层参数。

4.根据权利要求3所述的Bert模型预训练方法，其特征在于，所述模型参数预训练步骤进一步包括：

模型调整步骤，用于减小所述Bert模型的学习率；

词嵌入矩阵初始化步骤，用于利用所述词向量初始化所述Bert模型的词嵌入矩阵；

模型二次预训练步骤，将所述词汇编码输入所述Bert模型训练各层参数。

5.根据权利要求4所述的Bert模型预训练方法，其特征在于，所述词嵌入矩阵初始化步骤进一步包括：

获取所述词向量中N个所述高频词汇对应的词向量用以初始化所述Bert模型的词嵌入矩阵对应词的词向量；

获取所述词向量中所述高频词汇对应的词向量的均值用以初始化所述Bert模型的词嵌入矩阵对应所述“UNK”的词向量。

6.一种Bert模型预训练系统，其特征在于，包括：

原始数据集获取模块，用于获取原始数据集；

数据集预处理模块，用于将所述原始数据集经分词处理得到分词数据集，将所述分词数据集经Word2Vec模型训练得到全部词汇的词嵌入矩阵，并将所述词汇根据出现频率进行进行排序、编码，得到高频词汇、低频词汇及词汇编码；

Bert模型预训练模块，用于冻结所述Bert模型的词嵌入矩阵参数并基于所述全部词汇的词嵌入矩阵训练所述Bert模型后，减小学习率并输入所述词汇的编码再次训练所述Bert模型。

7.根据权利要求6所述的Bert模型预训练系统，其特征在于，所述数据集预处理模块进一步包括：

分词数据集获取模块，用于将所述原始数据集进行分词处理，得到所述分词数据集；

词嵌入矩阵获取模块，用于将所述分词数据集中的全部词汇输入所述Word2Vec模型训练得到所述全部词汇的词嵌入矩阵；

词汇排序模块，用于将所述分词数据集中的全部词汇根据出现频率进行排序，根据一设定阈值N将所述分词数据集中词汇分为频率较高的N个高频词汇及剩余的低频词汇；

词汇编码模块，用于将所述高频词汇根据所述排序进行顺序编码并将所述低频词汇编码为“UNK”，得到所述词汇编码。