[发明专利]口腔器械消毒灭菌操作监控方法及装置

权利要求书

1.一种口腔器械消毒灭菌操作监控方法，其特征在于，包括：

读取第一json文件和口腔清洗间拍摄到的视频文件，其中，所述第一json文件记录有水槽位置信息、视频文件所在位置的绝对路径以及输出文件的绝对路径；

对所述视频文件进行解析，得到音频和画面；

将所述音频切割为多段音频，以保证每段音频内容的单一性；

将切割得到的每一段音频带入到水声检测模型中，以检测每一段音频中是否出现水声，并将水声检测结果保存在列表中；

将所述画面进行灰度化及高斯模糊处理；

将所述画面带入到人体检测模型中，以对所述画面中出现的人体进行检测，其中，检测时加大手部和肘部的权重，并在检测结果汇总之后用一个点来代替人体位置信息，将人体位置信息存储在列表中；

调用所述水槽位置信息和人体位置信息；

根据所述水槽位置信息和人体位置信息，判断水槽和人的位置是否在预定的距离内；

如果水槽和人的位置在预定的距离内，根据所述水声检测结果，识别同时音频中是否出现水声；

如果水槽和人的位置在预定的距离内，并且同时音频中出现水声，判定操作员做出了冲洗动作；

如果水槽和人的位置在预定的距离内，但音频中未同时出现水声，判定操作员没有做出冲洗动作；

将判定的结果输出到第一json文件中，所述判定的结果包含操作员是否进行了冲洗动作，以及在操作员进行了冲洗动作的情况下，冲洗动作的起始时间和结束时间。

2.如权利要求1所述的方法，其特征在于，所述水槽位置信息包含水槽在画面中的大小信息，当水槽中心点到水槽外切圆距离与人与水槽中心点的距离的比值大于1/2，认为水槽和人的位置在预定的距离内。

3.如权利要求1所述的方法，其特征在于，所述第一json文件还记录有算法每秒读取帧数；将所述画面进行灰度化及高斯模糊处理之前，所述方法还包括：

判断所述第一json文件中记录的算法每秒读取帧数是否大于所述视频文件本身的帧数；

如果所述第一json文件中记录的算法每秒读取帧数大于所述视频文件本身的帧数，不进行抽帧处理，直接将所述画面进行灰度化及高斯模糊处理；

如果所述第一json文件中记录的算法每秒读取帧数小于或等于所述视频文件本身的帧数，按所述算法每秒读取帧对视频文件进行抽帧处理，之后对抽取的每一帧画面进行灰度化及高斯模糊处理。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

读取第二json文件和口腔清洗间拍摄到的视频文件，其中，所述第二json文件记录有超声仪位置信息、视频文件所在位置的绝对路径以及输出文件的绝对路径；

对所述视频文件进行解析，得到音频和画面；

将所述音频切割为多段音频，以保证每段音频内容的单一性；

将切割得到的每一段音频带入到金属碰撞声检测模型中，以检测每一段音频中是否出现金属碰撞声，并将金属碰撞声检测结果保存在列表中；

将所述画面进行灰度化及高斯模糊处理；

将所述画面带入到人体检测模型中，以对所述画面中出现的人体进行检测，其中，检测时加大手部和肘部的权重，并在检测结果汇总之后用一个点来代替人体位置信息，将人体位置信息存储在列表中；

调用所述超声仪位置信息和人体位置信息；

将超声仪位置信息所在区域单独分割出来，进行移动检测，得到画面变化信息；

根据所述超声仪位置信息和人体位置信息和画面变化信息，判断超声仪和人的位置是否在预定的距离内；

如果超声仪和人的位置在预定的距离内，根据所述金属碰撞声检测结果，识别同时音频中是否出现金属碰撞声，以及同时画面变化信息中是否存在画面产生明显变化；

如果超声仪和人的位置在预定的距离内，并且同时音频中出现金属碰撞声，同时画面变化信息中存在画面产生明显变化，判定操作员做出了取放器械动作；

如果水槽和人的位置在预定的距离内，但未同时满足音频中出现金属碰撞声以及画面变化信息中存在画面产生明显变化，判定操作员没有做出取放器械动作；

将判定的结果输出到第二json文件中，所述判定的结果包含操作员是否进行了取放器械动作，以及在操作员进行了取放器械动作的情况下，取放器械动作的起始时间和结束时间。