[发明专利]基于TensorflowJs的奶牛进食和反刍识别与统计方法

说明书

本发明公开了一种基于Tensorflow.js的奶牛进食和反刍识别与统计方法，运用计算机视觉与智能识别技术，属于畜禽行为识别技术领域。本发明首先采集奶牛进食、反刍时的视频数据，以此制作奶牛行为识别数据集，对SSD MoblilNet V2模型进行训练，借助Tensorflow.js将该模型部署至监测设备的本地浏览器中。监测设备通过浏览器的API调用摄像头获取奶牛图像，将图像传入目标检测模型，基于浏览器算力进行推理，监测设备仅将识别结果上传至服务器进行统计，极大降低了数据传输量和云服务器的性能要求，解决了现有方法成本过高难以推广的问题。本系统对奶牛反刍和进食行为识别的查准率、召回率、F1‑score、特异性、准确率分别达到96.50％、91.77％、94.08％、91.36％、91.66％，表明该方法能够有效对奶牛行为进行识别。

技术领域

本发明属于畜禽行为识别技术领域，具体涉及基于机器视觉的奶牛进食和反刍行为识别方法和借助Tensorflow.js将模型部署至通用智能设备的浏览器中的方法。

背景技术

反刍行为是奶牛的重要消化过程之一，成年奶牛每天反刍的时长与奶牛的健康情况和产奶量密切相关,因此通过实时监测奶牛反刍和进食时长等信息，可提前判断出部分发病症状不明显的疾病，同时也可根据反刍信息制定合适的饲养策略，保障奶牛的产奶量和乳质量。

发明专利“一种基于SSD卷积神经网络的奶牛反刍行为识别方法”(公开号CN110781870A)，公开了一种奶牛反刍行为识别方法，该系统通过采集的奶牛静息、反刍、进食时嘴部特征图像对SSD目标检测模型进行训练；采用传统的模型部署方式，将采集到的视频数据先上传至服务器，然后在服务器中进一步处理并识别视频中奶牛的行为，识别后的结果再返回请求端。由于该方法实施过程中需要部署较多设备并长时间将获取到的视频数据上传至云服务器，为具备实时性，需要提供稳定且高带宽的网络；而云服务器需要具备处理高并发的视频数据的能力，因此对云服务器的性能要求较高。这就需要农场需要投入更多的网络基础设施建设和云端成本。

本发明是对上述方法的改进，使用SSD MoblilNet V2目标检测模型进行识别，并借助Tensorflow.js将模型部署至监测设备的本地浏览器中，基于浏览器的算力进行推理，将计算任务和服务从网络核心推向网络边缘设备。

发明内容

为了达到连续并实时识别奶牛进食和反刍行为的目的，并克服现有进食和反刍监测方法的缺点，本发明提出了一种基于Tensorflow.js的奶牛进食和反刍识别与统计方法。

本发明的技术方案如下：

步骤S1：使用影响采集设备在一天中不同时段、光照及角度采集奶牛进食和反刍的视频；

步骤S2：将采集到的每头奶牛进食、反刍时的视频分帧处理，并人工挑选嘴部特征明显的图像，使用labelimg工具将分帧后的图像进行标注；

步骤S3：对影像数据进行旋转,白化等处理使其符合SSD MobileNet V2模型的输入格式要求,通过图像变换,调节影像数据光学参数等一系列方法,人工增加牛嘴部影像数据集的大小,将处理后的影像数据按一定比例分为训练数据集、测试数据集，最后将训练集和验证集都转化为TFRecord格式；

步骤S4：使用Tensorflow构造SSD MobileNet V2目标检测模型,使用训练数据集对该模型进行训练；

步骤S5：将模型训练结果固化为pb格式的GraphModel，再使用TensorFlow.js提供的converter方法将模型转化为json格式；

步骤S6：在监控设备的浏览器中部署该模型，通过加载json格式的SSD MobileNetV2目标检测模型对实时视频中的奶牛行为进行识别并将检测结果进行上传；