[发明专利]一种电商商品的品目预测机器人及其实现方法

权利要求书

1.一种电商商品的品目预测机器人，其特征在于：所述计算机程序的实现方法包括：

环境搭建过程，下载bert预训练语言模型bert-base-chinese；通过海量无标注语料对下载的所述bert预训练语言模型bert-base-chinese进行预训练，得到预训练后bert模型；该海量无标注语料未作商品标题的标注；

模型微调过程，基于品目库标准构建品目标签集文件class.txt，供预训练后bert模型读取；将品目清单进行one-hot编码形成标签矩阵；选取run_classifier.py文件作为下游分类任务的分类器；在所述run_classifier.py文件中关联数据集文件、品目标签集文件class.txt和初始模型参数列表，从而能加载标注数据集C和所述标签矩阵作为分类器的输入，加载初始模型参数列表并配置初始学习率参数值后运行分类器，通过分类器对输入的各个商品标题信息进行所属品目的推理，列出推理结果；重新配置学习率参数值和模型参数列表，继续运行分类器，并进行推理，如此反复，得到多个推理能力不同的bert模型；选择分类器推理能力最高的bert模型作为最佳模型，并保存最佳模型的模型参数列表；

模型评估过程，运行所述最佳模型，加载所述最佳模型的模型参数列表；输入测试数据集核验输出结果的置信度，核验模型对商品归类的准确率，若准确率低于阈值，则重新配置学习率取值和模型参数列表后再进行模型微调，直到准确率不低于阈值时结束，此时得到的bert模型即为所述电商商品的品目预测机器人；

其中，所述下游分类任务是用于将商品标题信息文本分为若干商品类目；所述标注数据集C标注了商品标题和品目标签；所述模型参数列表包括商品属性、名称和品牌的相关参数；所述测试数据集为一定数量的商品标题信息的数据集。

2.根据权利要求1所述的一种电商商品的品目预测机器人，其特征在于：所述学习率参数值配置为2×10^-5 ~ 5×10^-5之间；

且所述对输入的各个商品标题信息进行所属品目的推理是：先将输入某个商品标题信息中的汉字预处理转为整数编码，每个汉字对应一个整数后再进行推理。

3.根据权利要求1或2所述的一种电商商品的品目预测机器人，其特征在于：所述模型微调过程采用的算法具体是：

采用如下目标函数训练LM语言模型：

P(w_i | w₁, ..., w_i-1, w_i+1, ..., w_n)

所述品目标签集文件train.csv从所述标注数据集C中读取商品标题X作为输入，将商品标题X从汉字级别进行拆分，得到n个汉字，把每个汉字进行特征转换为整数编码，得到n个整数编码W1, …, Wn，输出为品目清单的一个分类的one-hot标签y；

把所述整数编码W1, …, Wn输入至Transformer模型，得到最上层最后一个时刻的输出集hn l，将hn l通过softmax层进行分类，所述softmax层的参数为Wy，Wy为某个one-hot标签y的标签编码，最后用CrossEntropyLoss计算损失，调整Transformer模型的学习率以及参数Wy，等价于最大似然估计：

L₁还是之前语言模型的损失，使用的数据为当前任务的标注数据集C，而且只使用其中的商品标题X，而不需要one-hot标签y；

L₂是微调过程中的损失，使用的数据为当前任务的标注数据集C，同时使用其中的商品标题X和one-hot标签y;

L₃是最大似然值，即为置信度。

4.根据权利要求1所述的一种电商商品的品目预测机器人，其特征在于：所述推理结果的输出是一个数组，数组的每个元素的值表示一个商品品目的置信度，每个元素的值为0.00-1.00之间，数值越小，表示是相应商品品目的概率越低，数值越大，表示是相应商品品目的概率越高。