[发明专利]训练方法、业务数据分类处理方法及装置、电子设备

摘要

本说明书实施例公开了一种分层注意力模型的训练方法、业务数据的分类处理方法及装置、电子设备。所述训练方法包括：建立分层注意力初始模型，包括待训练的与注意力有关的模型参数，对样本数据进行预处理，生成由三维张量表示的预处理数据；将该预处理数据输入分层注意力初始模型并进行处理，获得样本数据的分类处理训练结果；根据样本数据的类型和分类处理训练结果计算损失，在所述损失没有收敛的情况下，对与注意力有关的模型参数进行更新，并使用样本数据对更新后的分层注意力初始模型进行迭代训练。

主权项

1.一种分层注意力模型的训练方法，所述方法包括；建立分层注意力初始模型，所述分层注意力初始模型包括待训练的与注意力有关的模型参数；获取样本数据，所述样本数据的类型包括黑样本数据和白样本数据；对所述样本数据进行预处理，生成由三维张量表示的预处理数据；将所述预处理数据输入所述分层注意力初始模型并进行处理，生成所述样本数据的最终表达；使用分层注意力初始模型中的多层感知器对所述样本数据的最终表达进行分类处理，获得所述样本数据的分类处理训练结果；根据所述样本数据的类型和所述分类处理训练结果计算损失，所述损失表示所述样本数据的类型和所述分类处理训练结果的差异；判段所述损失是否收敛，在所述损失没有收敛的情况下，对所述分层注意力初始模型的所述与注意力有关的模型参数进行更新，并使用所述样本数据对更新后的分层注意力初始模型进行迭代训练。