[发明专利]使用上下文信号的局部异常检测

说明书

至少部分基于上下文信号来推断第一上下文中的测量的期望值。上下文信号可以包括(i)具有与期望值相同的类型并且(ii)与不同于第一上下文的第二上下文相关联(例如，上下文可以包括地理区域)的实际值，或者上下文信号可以包括(i)具有与期望值的类型不同的类型并且(ii)与第一上下文或不同于第一上下文的第二上下文相关联的实际值。如果期望值与第一上下文的实际值之间的差值大于阈值差值，则认为这个条件为异常。检测到的异常可以用于确定对于用户社区可能是重要的或者用户社区感兴趣的事件。

背景技术

异常可以被表征为偏离规范的事物(或不正常的事物)。在一些情况下，数据中的异常可以指示令人惊讶或有趣的事件。例如，车祸的目击者可以在事故发生之后不久使用他们的移动设备将车祸发布到社交媒体服务。由社交媒体服务收集的数据(在这种情况下为用户帖子)可以包括有关车祸的信息，并且因此数据可以因为偏离规范而异常。检测数据中的这种异常可以导致有用的见解，诸如在主要新闻媒体对车祸进行报道之前标识车祸。因此，异常检测适用于各种下游应用，并且需要改进异常检测。

发明内容

很多事件可以被表征为时间序列y(t)，其中y是事物的测量并且t是时间。因此，时间序列由一系列数据点组成，每个数据点表示在时间间隔ΔT期间的测量值。例如，测量值可以是微博帖子(例如，)的数目、车辆的数目、销售项目的数目、911呼叫的数目或任何其他合适的测量。如果y(t)的实际值与正常条件下的y(t)的期望值相比非常大或小，则发生异常。在正常条件下的y(t)的期望值在本文中被称为“期望值”，称为

本文中描述了用于至少部分基于上下文信号来准确推断测量的期望值并且使用期望值来自动检测异常的技术和系统。如果与y(t)的实际值之间的差值大于阈值差值(即，如果在时间t，其中X表示某个阈值)，则认为这个条件是异常。使用一个或多个上下文信号来推断测量的期望值允许检测本地化到特定上下文的异常，诸如有限的地理区域内的异常。本文中公开的异常检测技术的一个示例应用用于确定可能对于用户社区是重要的或者用户社区感兴趣的真实世界事件。例如，特定地理区域内的异常可以指示特定地理区域中的重大真实世界事件，诸如车祸、森林火灾、体育比赛等。

在一些实施例中，用于推断第一上下文的期望值的上下文信号可以包括(i)具有与期望值相同的类型并且(ii)与不同于第一上下文的第二上下文相关联的实际值。“上下文”的一个说明性示例是位置(或地理区域)。使用这种类型的上下文作为示例，系统可以至少部分基于(i)具有与期望值相同的类型并且(ii)与不同于第一地理区域的第二地理区域相关联的实际值来推断第一地理区域的期望值。换言之，与第二地理区域相关联的实际值可以规定由系统推断的第一地理区域的期望值。

在一些实施例中，用于推断第一上下文的期望值的上下文信号可以包括(i)具有与期望值的类型不同的类型并且(ii)与第一上下文或不同于第一上下文的第二上下文相关联的实际值。继续其中上下文是地理区域的以上示例，系统可以推断第一地理区域的第一类型的期望值(例如，秃鹰目击(sighting)的数目)，其中推断至少部分基于不同类型的实际值(例如，斑点猫头鹰目击的数目)，其中不同类型的实际值可以与第一地理区域或不同于第一地理区域的第二地理区域相关联。换言之，一种类型的实际值(例如，斑点猫头鹰目击的数目)可以规定另一种类型的期望值(例如，秃鹰目击的数目)。

在推断期望值之后，可以通过将给定上下文的期望值与给定上下文的实际值相比较来执行异常检测过程以确定被称为预测误差的差值。基于预测误差，系统可以确定发生了异常。

本文中讨论的很多示例涉及检测包括地理标签的微博帖子(例如，地理标签的)的数据中的异常，但是这些技术和系统不限于此，如下面将更详细地描述的。因此，贯穿本公开的大部分内容的示例重点在于从在时间间隔内接收的来自特定地理区域的异常大或小的数目的地理标签的微博帖子来自动检测特定地理区域的异常。由于所接收的一些微博帖子可以涉及在真实世界中发布本地事件的目击者，所以本文中公开的异常检测技术可以用于标识本地化到特定地理区域的这些类型的事件。