[发明专利]农民劳作行为识别方法、装置、电子设备及存储介质

说明书

本发明提供一种农民劳作行为识别方法、装置、电子设备及介质，该方法包括：建立农民劳作行为的数据集，并科学划分所述数据集；构建深度学习模型的P3D模块和ConvLSTM模块；将所述P3D模块与所述ConvLSTM模块组合，建立P3DConvLSTM模型；基于所述数据集训练所述P3DConvLSTM模型，并基于经训练的P3DConvLSTM模型识别农民劳作行为。本发明针对视频分析中的空间和时间两个维度的特征，基于深度学习算法提出了一种应用于农民劳作行为识别的P3DConvLSTM模型，以为农民劳作行为识别建立端到端的可训练模型。

技术领域

本发明涉及图像处理领域，更具体地，涉及一种农民劳作行为识别方法、装置、电子设备及存储介质。

背景技术

农产品食品安全问题产生的最重要的原因是信息的不全面、不透明、不对称。要想解决这个问题，最根本的解决方法是做好整个农产品生产过程的追溯和追踪工作，建立合理、可靠的农产品溯源系统，让农产品供应链上的每一个环节的信息都真实、完整、透明、不易篡改，使消费者能够了解农产品的每一个种植和培育环节。

农民的一些常见劳作行为，是决定农产品品质的一个重要因素，如喷洒农药会直接影响农产品的农药残留，甚至造成农产品安全隐患。因此，农民的劳作行为是农产品溯源中重要的信息。但现有的劳作行为记录，主要靠人员手工填报，由于大量的主观因素的存在，其真实度不高。

随着摄像头等设备广泛应用以及机器学习技术的发展，为农民劳作行为的识别提供了新的解决方法，然而目前缺乏针对农民劳作行为识别的可靠方法，从而无法为溯源系统提供有效的农民劳作信息。

发明内容

针对目前缺乏针对农民劳作行为识别的可靠方法的现状，本专利针对视频分析中的空间和时间两个维度的特征，基于深度学习算法提出了一种应用于农民劳作行为识别的P3DConvLSTM神经网络模型，为农民劳作行为识别建立端到端的可训练模型，从而可以为溯源系统提供有效的农民劳作信息。

具体地，本发明是通过以下技术方案来实现的：

第一方面，本发明提供了一种农民劳作行为识别方法，包括：

建立农民劳作行为的数据集，并划分所述数据集；

构建P3D模块和ConvLSTM模块；

将所述P3D模块与所述ConvLSTM模块组合，建立P3DConvLSTM模型；

基于所述数据集训练所述P3DConvLSTM模型；

基于经训练的P3DConvLSTM模型，对待识别的农民劳作行为进行识别。

进一步地，所述建立农民劳作行为的数据集，并划分所述数据集，包括：

基于农民劳作视频，获得农民劳作行为的数据集；

将所述数据集划分为训练集和验证集，并将所述训练集和所述验证集归一化处理。

进一步地，所述基于农民劳作视频，获得农民劳作行为的数据集，包括：

将视频转成图像序列；

将图像序列划分成多个视频段；

剔除没有农民或者场景切换过快的所述视频段；

使用间隔式采样抽取所述视频段中的图像作为样本，并获得农民劳作行为的目标图像，从而得到农民劳作行为的所述数据集。

进一步地，所述P3D模块，包括：

二维空间卷积核和一维时域卷积核。

进一步地，所述P3DConvLSTM模型，包括：

不保留c模块精简模型；