[发明专利]视频中的局部改变检测

说明书

讨论了与检测视频中的局部改变相关的技术。这样的技术可以包括基于来自之前帧的内点关键点而确定视频序列的当前帧的内点和外点关键点，基于当前和之前帧的外点关键点而检测局部改变区域，以及基于检测到的局部改变区域而提供局部改变的指示符。

优先权要求

本申请要求对2015年3月18日提交的题为“LOCAL CHANGE DETECTION IN VIDEO”的美国专利申请序列号14/661,406的优先权，其被整体地通过引用并入本文中用于所有目的。

技术领域

本发明涉及视频中的局部改变检测。

背景技术

设备，诸如可穿戴设备，可以实现有一直开着的计算机视觉接口。这样的一直开着的计算机视觉接口可以为设备提供诸如通过完全上电、点亮显示器、与刺激交互等以有意义的方式对为设备可见的刺激进行响应的能力，即使设备否则是空闲的。例如，一直开着的计算机视觉接口可以检测场景中的改变，诸如用户的手出现，并且诸如通过基于由用户做出的姿势而实现设备功能等以有意义的方式对检测到的改变进行响应。

然而，可穿戴设备等由于其受限的功率预算（例如通常期望这样的设备靠电池电量在延长的时间段内进行操作）及其使用情境而可能产生针对计算机视觉技术的多个困难。例如，这样的计算机视觉接口可能需要在极少或没有等待时间的情况下检测、跟踪和识别出现在设备的相机前面的对象以提供引人注目的用户体验。此外，计算机视觉任务可能在经由设备获得的全部图像帧上的完整执行在功率效率方面是欠佳的并且在一些情况下可能是冗余的。例如，当设备的相机正在观察静态场景时，在初始场景分析完成之后可能不需要执行计算机视觉任务。任何随后的计算机视觉任务应当由例如场景中的改变来触发。此外，可穿戴设备和其他小型设备可能在穿戴者的身体移动时移动，从而导致运动的范围和随机抖动的幅度等比起在其他计算机视觉情境中显著较大。

用于检测场景中的改变的当前技术可能并未解决这样的困难，特别是对于可穿戴设备而言。例如，当前的技术可以包括视频监控技术、基于光流的技术、相位检测技术和块匹配技术，所述视频监控技术假定静态的相机位置并且使用背景建模来检测所捕获的视频中的改变。如所讨论的，可穿戴设备实现方式可能不提供静态的相机位置，并且基于光流的技术、相位检测技术和块匹配技术仅可以处置受限范围的全局和局部运动。此外，这样的技术可能要求若干之前帧在存储器中的存储，这在所讨论的功率受限的场景中可能是不可行的。

提供一种功率高效并且在设备的相对大的全局运动的情况下适用的一直开着的计算机视觉接口可以是有利的。正是关于这些和其他考虑，因此需要目前的改进。这样的改进可能在提供高质量图像的期望变得更加普遍时变得关键。

发明内容

按照本发明的第一方面的一种用于提供视频中的局部改变检测的方法，包括：

针对视频序列的当前帧，确定多个关键点和相关联的局部图像描述符；

基于视频序列的之前帧中的之前帧内点关键点而确定当前帧中的一个或多个当前帧内点关键点和一个或多个当前帧外点关键点，所述当前帧内点关键点与全局运动估计一致，并且当前帧外点关键点与全局运动估计不一致；

基于视频序列的当前帧中的当前帧外点关键点和所述之前帧中的之前帧外点关键点而检测视频序列中的局部改变区域；以及

基于视频序列中的检测到的局部改变区域而提供局部改变的指示符，其中所述方法还包括：

基于所述全局运动估计将所述之前帧内点关键点封装到与当前帧相关联的坐标；

针对所述多个关键点中的第一关键点，基于第一关键点与来自之前帧的封装的内点关键点之间的空间和描述符距离，确定与来自之前帧的一个或多个内点关键点的匹配，封装到当前帧的匹配内点关键点在第一关键点的空间邻域内并具有小于阈值的描述符距离，其中封装的内点关键点来自所述之前帧中的不同帧；