[发明专利]模型训练方法、动物行为识别方法、装置、设备

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取训练数据集；其中，所述训练数据集中包括多组训练数据，所述训练数据中包括目标动物的文本数据、图像数据、声音数据，以及所述目标动物的标注行为类别；所述文本数据是指用于描述所述目标动物的文字内容，所述图像数据和所述声音数据是采集的所述目标动物的数据；

将所述目标动物的文本数据、图像数据、声音数据输入至预设模型中，得到所述目标动物的预测行为类别；

根据所述目标动物的标注行为类别和预测行为类别，优化所述预设模型中的参数，得到动物行为识别模型；其中，所述动物行为识别模型用于识别动物的行为。

2.根据权利要求1所述的方法，其特征在于，所述预设模型包括第一模型、第二模型、第三模型；

所述将所述目标动物的文本数据、图像数据、声音数据输入至预设模型中，得到所述目标动物的预测行为类别，包括：

利用所述第一模型对所述文本数据进行处理，得到第一行为识别结果；

利用所述第二模型对所述图像数据进行处理，得到第二行为识别结果；

利用所述第三模型对所述声音数据进行处理，得到第三行为识别结果；

根据所述第一行为识别结果、所述第二行为识别结果、所述第三行为识别结果，确定所述预测行为类别。

3.根据权利要求2所述的方法，其特征在于，

所述利用所述第一模型对所述文本数据进行处理，得到第一行为识别结果，包括：

所述第一模型提取所述文本数据的文本序列，并对所述文本序列进行识别，得到所述第一行为识别结果；

所述利用所述第二模型对所述图像数据进行处理，得到第二行为识别结果，包括：

所述第二模型提取所述图像数据的图像特征，并对所述图像特征进行识别，得到所述第二行为识别结果；

所述利用所述第三模型对所述声音数据进行处理，得到第三行为识别结果，包括：

所述第三模型提取所述声音数据的目标音频特征，并对所述目标音频特征进行识别，得到所述第三行为识别结果。

4.根据权利要求3所述的方法，其特征在于，所述第一模型提取所述文本数据的文本序列，包括：

在所述文本数据中提取关键词；

对所述关键词进行词嵌入向量计算，得到所述文本数据的文本序列。

5.根据权利要求3所述的方法，其特征在于，所述第三模型提取所述声音数据的目标音频特征，包括：

提取所述声音数据的多个原始音频特征；

融合所述原始音频特征，得到所述声音数据的目标音频特征。

6.根据权利要求2所述的方法，其特征在于，所述根据所述第一行为识别结果、所述第二行为识别结果、所述第三行为识别结果，确定所述预测行为类别，包括：

根据所述第一行为识别结果，确定所述第一模型输出的与各预设行为类别对应的各第一概率；

根据所述第二行为识别结果，确定所述第二模型输出的与各预设行为类别对应的各第二概率；

根据所述第三行为识别结果，确定所述第三模型输出的与各预设行为类别对应的各第三概率；

根据与各所述预设行为类别对应的所述第一概率、所述第二概率、所述第三概率，确定与各所述预设行为类别对应的总概率；

根据各所述预设行为类别的总概率，在所述预设行为类别中确定所述预测行为类别。

7.一种动物行为识别方法，其特征在于，所述方法包括：

获取目标动物的文本数据、图像数据、声音数据；其中，所述文本数据是指用于描述所述目标动物的文字内容，所述图像数据和所述声音数据是采集的所述目标动物的数据；

将所述目标动物的文本数据、图像数据、声音数据输入至预设的动物行为识别模型中，得到与所述目标动物对应的行为类别；

其中，所述动物行为识别模型是使用训练数据集训练得到的，所述训练数据集中包括多组训练数据，所述训练数据中包括用于训练模型的目标动物的文本数据、图像数据、声音数据，以及该目标动物的标注行为类别。