[发明专利]基于增强现实技术的交互式远程专家协作检修系统及方法

摘要

本发明公开了基于增强现实技术的交互式远程专家协作检修系统及方法；现场客户端对待检测维修的设备进行视频采集或图像拍摄，传输给远程服务端，远程服务端接收现场客户端发来的视频或图像，接收专家对视频或图像的勾画处理，将勾画的目标区域图像发送给现场客户端；现场客户端接收后通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，检测器找到目标区域图像，由跟踪器对目标进行跟踪，通过P‑N Learning不断提高检测器的检测精度，在现场视频图像中目标区域的位置处叠加标记图案或文字批注，当前设备的状态信息，生成增强现实影像视频；利用增强现实技术合成增强现实视频，在专家的协作下完成现场设备的故障诊断与检修。

主权项

1.现场客户端，其特征是，包括：视频采集单元，用于对待检测维修的设备进行视频采集或图像拍摄；获得待检测维修设备的视频流或图像；将采集的待检测维修设备视频流或图像发送给第一通信单元；第一通信单元，用于接收视频流或图像，通过无线网络将视频流或图像发送给远程服务端，并接收远程服务端的反馈信息；所述反馈信息包括语音信息和带勾画标注信息的目标区域图像；AR处理单元，用于对远程服务端发来的反馈信息、视频采集单元发来的采集信息和当前设备的状态信息合成增强现实视频；合成后发送给第一显示单元；视频采集单元发来的采集信息包括待检测维修的设备视频流或图像；所述AR处理单元包括：粒子滤波跟踪器，用于跟踪目标，得到目标区域的位置和大小；支持向量机分类器，用于检测出所有可能的目标；学习子单元，用于利用P‑N Learning学习策略完成支持向量机分类器的在线更新，使支持向量机分类器的分类精度逐步提高；目标模型，用于与待分类的样本进行匹配，找到匹配度最高的样本；融合子单元，用于将支持向量机分类器的分类结果和粒子滤波跟踪器的跟踪结果相融合，得到目标的位置；第一显示单元，用于对AR处理单元的处理结果进行显示。