[发明专利]一种基于ALBERT和知识蒸馏的观点挖掘方法

摘要

本发明公开了一种基于ALBERT和知识蒸馏的观点挖掘方法，所述方法包括：以ALBERT模型作为教师模型T，Text‑CNN模型作为学生模型S，使用原始数据D对教师模型T进行微调，得到适用于观点挖掘任务的教师模型T1；通过教师模型T1预测外部数据D1所得的硬标签对学生模型S进行预训练指引，将预训练指引后的模型进行成对参数共享得到学生模型S1；使用教师模型T1和学生模型S1分别对原始数据D和外部数据D1进行预测得到两组软、硬标签；联合软、硬标签的交叉熵损失作为总损失反向传播训练学生模型S1，得到学生模型S2，作为最终的观点挖掘模型。本发明能够提高观点挖掘的准确率。