[发明专利]一种基于临近异构分布式结构的移动增强现实交互方法

摘要

本发明公开了一种基于临近异构分布式结构的移动增强现实交互方法，属于图像处理和增强现实领域。本发明对移动端采集的视频流进行分级处理，一部分通过近距离无线传输给指令识别服务器，由指令识别服务器依次确定每帧的指令类型并回传给移动端，其中确定每帧的指令类型具体为：对每帧的肤色区域进行轮廓检测，将轮廓检测结果作为指令特征值，通过预先构建的指令分类器查询匹配的指令类型值；另一部分通过移动端本地的计算资源进行图像的三维注册和标定指令显示区域，将对应每帧指令类型值的虚拟物体叠加融合到每帧图像的指令显示区域，从而能够在移动端实时准确的完成AR虚拟场景与真实物体之间的交互。

主权项

1.一种基于临近异构分布式结构的移动增强现实交互方法，其特征在于，包括下列步骤：移动终端将采集的视频流以切片的方式存储到本地，并将采集的视频流发送给一个临近异构识别处理装置；移动终端执行步骤A1～A2：步骤A1：根据公式得到屏幕坐标其中C、R分别表示移动终端的摄像装置的内参矩阵、外参旋转矩阵，t表示平移向量，X表示世界坐标；步骤A2：对视频流的帧图像进行二值化处理，再对各二值图像进行连通域分析，将连通域中的四边行区域作为候选区域，将每一个候选区域与本地预置的目标对象进行图像匹配，将与目标对象匹配的候选区域作为每帧的标识区域；若标识区域不是矩形，则基于屏幕坐标对其进行坐标变换，得到矩形的标识区域；临近异构识别处理装置执行下述步骤B1～B2：步骤B1：构建指令分类器：以不同的手势图像作为训练样本，对训练样本进行轮廓检测，将轮廓检测结果作为指令模型样本值，基于指令模型样本值构建关于手势与指令类型的分类器；步骤B2：依次确定接收的视频流每帧的指令类型值并回传给移动终端；其中每帧的指令类型值确定方式为：对视频流的帧图像进行肤色提取处理，得到肤色区域；再对肤色区域进行轮廓检测，将轮廓检测结果作为指令特征值；通过指令分类器对当前帧的指令特征值进行指令类型匹配，并将第一个匹配结果作为当前帧的指令类型值；最后，移动终端基于本地预置的指令类型值与虚拟物体的映射关系，将对应每帧的指令类型值的虚拟物体叠加到当前帧的标识区域内。