[发明专利]基于TensorflowJs的奶牛进食和反刍识别与统计方法

权利要求书

1.一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：包括如下步骤：

步骤S1：使用影响采集设备在一天中不同时段、光照及角度采集奶牛进食和反刍的视频；

步骤S2：将采集到的每头奶牛进食、反刍时的视频分帧处理，并人工挑选嘴部特征明显的图像，使用labelimg工具将分帧后的图像进行标注；

步骤S3：对影像数据进行旋转,白化等处理使其符合SSD MobileNet V2模型的输入格式要求,通过图像变换,调节影像数据光学参数等一系列方法,人工增加牛嘴部影像数据集的大小,将处理后的影像数据按一定比例分为训练数据集、测试数据集，最后将训练集和验证集都转化为TFRecord格式；

步骤S4：使用Tensorflow构造SSD MobileNet V2目标检测模型,使用训练数据集对该模型进行训练；

步骤S5：将模型训练结果固化为pb格式的GraphModel，再使用TensorFlow.js提供的converter方法将模型转化为json格式；

步骤S6：在监控设备的浏览器中部署该模型，通过加载json格式的SSD MobileNet V2目标检测模型对实时视频中的奶牛行为进行识别并将检测结果进行上传；

步骤S7：通过开源可视化图表框架Apache ECharts实现对云数据中心的监测数据直观展示，使用折线图对奶牛在一天中反刍、进食、静默三种行为的时间分布信息进行可视化，使用饼图对奶牛一天中反刍、进食和静默的总时长进行可视化。

2.根据权利要求1所述的一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：所述SSD MobileNet V2目标检测模型中MobileNet V2特征提取网络结构如表1，其中t为扩展系数；n为该模块重复次数；c为输出通道数；s为该模块第一次出现时的步长。

表1 MobileNet V2网络结构

3.根据权利要求1所述的一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：对目标检测模型训练前，首先修改预训练模型SSDMobileNet V2的训练参数：设置model.ssd.num_classes值为2；train_config.batch_size值为4；train_config.fine_tune_checkpoint_typed代表模型构建类别，设置为detection以进行检测；num_train_steps为模型训练步数，设置该值为50000；训练集和测试集路径配置给train_input_reader和eval_input_readereval_input_reader。

4.根据权利要求1所述的一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：使用TensorFlow.js提供的converter方法将训练好的模型转化为json格式，在进行格式转化时配置input_format为tf_saved_model，代表输入的为pb模型；配置output_format为tfjs_graph_model，即json格式；output_node_names代表模型输出节点，本发明使用模型的输出节点有detection_boxes、detection_classes、detection_features、detection_multiclass_scores、detection_scores、num_detections、raw_detection_boxes、raw_detection_scores。

5.根据权利要求1所述的一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：在监测设备本地以秒为单位对奶牛行为进行检测，检测结果缓存于浏览器中，对每60秒内的检测结果进行统计分析，若某一行为在60秒中检测到的次数大于30，即判定为当前分钟刻度下奶牛正处于该行为，分析得到奶牛当前分钟内的行为后，由边缘设备将当前分钟的行为数据上传至云数据中心。

6.根据权利要求1所述的一种基于SSD MobileNet V2目标检测模型的奶牛进食和反刍识别与统计方法，其特征在于：对于奶牛在一天中反刍、进食、静默三种行为的时间分布信息，我们使用折线图对监测数据进行可视化，折线图坐标的x轴代表时间、y轴数值的绝对值代表行为检测到的次数，正向代表检测到的为反刍行为，负向代表检测到的为进食行为，等于0代表当前分钟既没有检测到反刍也没有检测到进食，即奶牛处于静默状态。