[发明专利]一种基于AR智能眼镜的局部图像识别方法及系统

说明书

本发明属于AR智能眼镜应用技术领域，公开了一种基于AR智能眼镜的局部图像识别方法及系统,对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境的视域画面的一致性校准标定；识别人眼图像并计算眼球运动向量，获取眼动坐标；识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置。本发明通过眼动仪获取人眼眼图信息，并进行人眼眼图与场景摄像头的同步标定，获取人眼在真实场景的注视点区域，在进行处理时，仅对注视点区域进行图像识别，大大降低了GPU的图像处理压力，提高图像处理效率。

技术领域

本发明属于AR智能眼镜应用技术领域，尤其涉及一种基于AR智能眼镜的局部图像识别方法及系统。

背景技术

目前，业内常用的现有技术是这样的：

随着近几年AR/VR产业的高速发展，我们关注到AR智能眼镜会是淘汰智能手机的下一代智能终端，那么AR智能眼镜上的app就如同智能手机上在刚兴起时的app，存在着巨大的市场价值。我们了解到眼动追踪技术是未来AR智能眼镜的重要人机交互方式，我们立足这样的环境进行思考未来应用可能存在潜在市场，在未来时代来临时可能爆发巨大的市场价值。

现有技术中，在VR虚拟现实技术中有一项通过眼动追踪技术实现的眼镜看哪里，计算机GPU对人眼注视的区域进行精细化的渲染处理-眼睛看哪里计算机渲染哪里。2016年CES上德国SMI展示了一项名为注视点渲染的技术，通过优先高清渲染人眼视野中心的部位，降低GPU的运算负荷，间接提升VR显示的效果。以HTC Vive为例，单眼的分辨率为1080*1200，游戏的刷新率最低为90HZ。意味着需要每秒2.33亿次像素渲染。而随着刷新率和分辨率的提高，未来GPU的压力会越来越大。而眼控注视点渲染技术，无疑间接的降低了VR体验的门槛。通过上述的VR注视点图像渲染技术和未来AR智能眼镜上应用的联想，促使本发明产生了通过眼动追踪技术来实现通过由人的视觉注视点引导的局部图像识别的方法。

综上所述，现有技术存在的问题是：

在未来智能时代，AR智能眼镜会为人类带来更智能更人性化的生活，因此在智能眼镜的应用设计中需要智能眼镜系统能够够更好理解用户周围的事物和环境已作出智能的个性化服务，计算机系统将通过的分析和识别摄像头拍摄到的实时画面来进行优质的服务，这将是巨大的运算量造成CUP、GPU、TPU巨大的计算量且对能量的消耗很大，并且占用过高的网络带宽，这导致设备的续航时间减少。产品整体的用户体验下降。

同时本发明实现了针对于未来AR智能眼镜的的局部图片截取方法和信息弹出的新机制，及为由眼动视线引导的图像截取进而识别局部图片后弹出与图像内容相关的信息(文字、声音、图片、视频、三维模型)。目前纵观全球AR智能眼镜应用中内容信息的弹出是没有经过筛选过滤的，其中存在着大量对用户无用的信息，并且用户不希望被无用的信息骚扰。而现有技术不能有效解决。

解决上述技术问题的难度和意义：

难点一：要实现让AR智能眼镜系统知道用户看了哪里？

需要实现人的视场角FOV区域中的画面、前置摄像头的画面、成像屏幕中的画面、周围真实环境的一致性校准标定。识别人眼图像并计算眼球运动向量，获取眼动坐标，并计算获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置和周围环境的坐标位置。

难点二：要实现让AR智能眼镜系统知道用户看的是什么？

计算机截取人眼注视点区域图像，AR眼镜智能终端上传云端服务器进行图像识别，图像识别、图像的匹配需要大量的图像数据库进行人工智能机器学习的运算才能达到精准的识别匹配效果，因此在图像数据库、机器学习算法、超级计算机运算能力、数据上传下传的速度、AR智能眼镜技术都提出了巨大的考验。