[发明专利]场景模型训练方法、装置、介质及设备

权利要求书

1.一种场景模型训练方法，包括：

获取多个场景的样本数据，基于所述多个场景的样本数据构建场景通用模型；

获取特定场景的样本数据，基于所述特定场景的样本数据对所述场景通用模型的参数进行调整，得到场景特定重模型。

2.根据权利要求1所述的方法，其中，所述基于所述多个场景的样本数据构建场景通用模型，包括：

获取预设模型，基于所述多个场景的样本数据，通过超参数优化方式确定所述预设模型的参数，生成所述场景通用模型；或者，

基于所述多个场景的样本数据，通过网络结构搜索的方式确定所述场景通用模型的模型结构。

3.根据权利要求2所述的方法，其中，所述预设模型包括：画像编码模块、行为编码模块以及预测模块，所述画像编码模块用于提取用户画像信息的嵌入，所述行为编码模块用于提取用户行为序列的嵌入，所述预测模块用于基于所述用户画像信息的嵌入以及所述用户行为序列的嵌入进行预测。

4.根据权利要求3所述的方法，其中，所述超参数优化的超参数包括：学习率、所述画像编码模块的多层感知机层的维度、所述行为编码模块的变换器的编码器数以及所述预测模块的多层感知机层的维度中的一种或多种。

5.根据权利要求1所述的方法，其中，所述特定场景的样本数据包括支持样本集，所述基于特定场景的样本数据对所述场景通用模型的参数进行调整，得到场景特定重模型，包括：

复制所述场景通用模型，得到初始场景特定重模型；

从所述特定场景的样本数据中获取所述支持样本集，基于所述支持样本集以及所述初始场景特定重模型的模型参数，确定所述初始场景特定重模型的模型损失；

基于所述模型损失对所述初始场景特定重模型进行训练，得到所述场景特定重模型。

6.根据权利要求5所述的方法，其中，所述特定场景的样本数据还包括查询样本集，所述方法还包括：

从所述特定场景的样本数据中获取所述查询样本集，基于所述查询样本集以及所述场景特定重模型的参数确定所述场景特定重模型的模型损失；

基于所述场景特定重模型的模型损失，对所述场景通用模型的模型参数进行更新。

7.根据权利要求6所述的方法，其中，所述基于所述模型损失，对所述场景通用模型的模型参数进行更新，包括：

针对多个特定场景，确定与所述多个特定场景中各个所述特定场景对应的场景权重；

基于所述场景权重以及所述场景特定重模型的模型损失，对所述场景通用模型的模型参数进行更新。

8.根据权利要求1至7中任一项所述的方法，其中，所述方法还包括：

基于所述场景特定重模型以及所述特定场景的样本数据，构建对应的场景特定轻模型。

9.根据权利要求8所述的方法，其中，所述基于所述场景特定重模型以及所述特定场景的样本数据，构建对应的场景特定轻模型，包括

基于所述特定场景的样本数据，通过网络结构搜索的方式确定所述场景特定轻模型的模型结构；

基于所述特定场景的样本数据以及所述场景特定重模型，通过知识蒸馏的方式将所述场景特定重模型的知识迁移到所述场景特定轻模型。

10.根据权利要求9所述的方法，其中，所述基于所述特定场景的样本数据，通过网络结构搜索的方式确定所述场景特定轻模型的模型结构，包括：

确定所述场景特定轻模型的搜索空间；

基于所述搜索空间，通过所述特定场景的样本数据确定所述场景特定轻模型的模型损失；

基于所述场景特定轻模型的模型损失，调整所述场景特定轻模型的模型结构。