[发明专利]一种基于人工智能视频分析的自伴混凝土质量管理方法

权利要求书

1.一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，该方法包括以下步骤：

a1.通过深度学习方法CoViAR-Mobile-V3算法对实时上传的视频流进行高效的事件分割判断，当前时间窗口视频的事件类型分为：单位盛具称重环节、单位车称重环节、入料口入料环节、搅拌环节、试块制作环节、塌落度测试环节；

a2.针对单位盛具称重环节的视频段，用SSD算法和OCR算法完成各材质在单位盛具中的重量分析，其输出结果为材料类型、单位盛具的重量；

a3.针对单位车盛装环节的视频段，用CoViAR-resnet算法实现盛装行为分析、SSD算法完成盛装材质类型识别，其输出结果为材料类型、盛装次数；

a4.针对入料口入料环节的视频段，用CoViAR-resnet算法和SSD算法完成入料口入料环节下加入到搅拌机中各材料的行为过程分析，其输出结果为材料类型、加入次数；

a5.针对搅拌环节的视频段，用CoViAR-resnet算法完成搅拌机工作的相关状态分析：入料、搅拌、出料、停止，其输出结果为状态、起止时刻；

a6.针对试块制作环节的视频段，用SSD算法完成时刻制作中试块个数分析，其输出结果为：试块数量；

a7.针对塌落度测试环节的视频段，用SSD算法和OCR算法完成塌落度估计分析，其输出结果为塌落度筒外接矩形坐标点、混凝土外接矩形坐标点、测定塌落度桶顶部与试验混凝土顶部之间卷尺刻度信息；

a8.综合步骤a1至步骤a7中的输出信息，进行输出的信息与设定的标准值进行对比，对存在风险的事件发出预警；

a9.基于步骤a1至步骤a7中的输出信息，对全部视频进行结构化存储。

2.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述视频行为分析算法CoViAR步骤：

b1：CoViAR的输入是“压缩视频流”；

b2：对压缩视频流的P序列帧中的M信号即MotionVector运动信号、R值即Residual P帧+M信号后相对于视频中的原始图像I帧的残值信号，进行累积解耦变换得到“解耦后的累积M信号”、“解耦后的累积R信号”，形成“解耦压缩视频流”；

b3：构建3个子模型：对原始信息“I帧”构建一个resnet152大分类器、对“解耦后的累积M信号”构建小分类器resnet18-0、对“解耦后的累积R信号”构建小分类器resnet18-1；

b4：基于融合3个子模型对视频进行动作行为分类。

3.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述SSD的算法是通过在不同层级的CNN特征层上，选用不同尺寸、不同比例的侯选框，找到与目标匹配最好的候选框来对目标的位置进行预测，使不同层级的目标达到较高的检测速度和精度。

4.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述OCR算法是结合CNN与RNN,由CNN提取图像特征，进而对特征图进行列切片，采用RNN结构进行推理文本, 最后采用CTC损失函数计算预测字符串与标注的差距，完成端到端的训练，预测阶段无需计算CTC，直接对每个cell进行文字预测，并最终合并出文本串。

5.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a2通过SSD算法检测定位出处于称上的盛具以及其中的材料类型，同时检测定位称的显示盘上的文字区域。

6.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a2基于OCR算法识别称的显示盘上的文字区域的数。

7.根据权利要求1所述的一种基于人工智能视频分析的自伴混凝土质量管理方法，其特征在于，所述步骤a3中通过CoViAR-resnet算法检测分析盛满一车的全过程中的每一个单次盛装行为，通过SSD算法检测盛具中材料类型。