[发明专利]以场景感知、来自移动设备的实时信息为基础的问答

说明书

从多数个移动设备以及在互联网规模的传统传感器收集数据的通用设施，该通用设施对在不同应用处接收到的自然语言查询进行响应。该设施包括用于将该自然语言查询转换至通过该数据收集系统处理的数据请求说明的语义解释器。该数据收集系统包括现象层，该现象层以声明方式表达数据和信息需求，并且协调为了查询目的的数据收集和处理。边缘层管理设备，接收来自后端层的收集需求，为了数据收集配置和命令设备，以及实施数据的聚合和初步处理。这个层包含网络边缘节点，例如蜂窝网络中的基站。每个节点管理一组本地数据生成网络设备。该设备代理数据层使用该网络设备上的普通代理接收数据收集指令并实施数据收集。

关于联邦赞助研究的声明

此处公开的发明是美国政府在合通过美国国防部自助的合同 W911NF-06-3-0001支持下做出的。政府在本发明享有一定权利。

技术领域

本发明与网络设备的数据收集有关。

背景技术

随着装备有传感器和互联网连接能力的智能电话的使用，例如 Facebook，Twitter，FourSquare，以及Google+等以网络为基础的社交网络的使用稳步增加。这些技术、智能电话以及社交网络的结合有可能通过诸如众包等应用产出利用大量移动设备的数据收集能力的应用。例如，通过个人从其智能电话分享他们的位置和速度信息，能够启用Google地图的实时交通监测。这种整合还可在灾难管理中利用社交网络应用。例如，通过个人分享图片或其它跨社交网站信息能够监测石油泄露或其它环境灾难。类似的，使用例如与移动设备相关联的空气采样设备，能够监测给定灾难周围的化学泄露和空气质量。

通过使用这些技术获取的信息能被聚合、处理，然后由个人或决策者以及公共机构消费。这种信息消费包括在所获取信息之上的信息检索以及对查询或问题进行响应。在信息检索以及自然语言处理(NLP)中，问答 (QA)是自动回答以自然语言提出的问题的任务。为了寻找问题的答案， QA计算机程序或者使用预组织的数据库或者使用自然语言文档的集合，举例而言，自然语言文档例如是万维网网页或本地文献等文本库。搜索集合从小的本地文档收集经过内部组织文档和编辑的新闻报道再到万维网网页。

QA研究试图处理例如包括事实、列举、定义、如何、为什么、假设、语义限制以及跨语言问题等范围广泛的问题类型。通常，QA取决于具有好的搜索语料库，也就是说，已存在的文档中包含期望的答案。因此，更大的收集规模与更好的QA性能相关联，除非问题领域与该收集相正交。在例如网页等的大规模收集中，数据冗余的概念创造了一种情形，其中有价值的信息会在不同环境中以及文档中用不同方式来措辞。这会产生两个好处。第一，QA系统在实施复杂的自然语言处理(NPL)技术以理解该文本的负担因具有出现在多种形式中的正确信息而减少。第二，通过依赖于正确答案在文档中比错误答案的实例出现的次数更多，能从错误信息中过滤出正确的答案。

闭合领域(Closed-domain)的问答处理属于特定领域的问题，例如医药或汽车维修领域，并呈现更简单的任务，因为NLP系统能够利用通常形式化为本体(ontologies)的领域特定的知识。可替代的，闭合领域指的是只接收有限类型问题的情形，例如询问描述性信息而非程序性信息。开放领域问答处理关于几乎任何事情并且只能依赖于通用本体(general ontologies)和世界知识(world knowledge)。另一个方面，这些系统通常具有更多的从中抽取答案的可用数据。

发明内容

根据本发明示范性实施例的系统和方法提供了场景感知，来自移动设备的实时信息。数据收集框架用于收集来自该移动设备的数据，例如实时信息。该数据收集框架是分层模型，其包括问答(QA)应用层，后端层，边缘收集层(edge collection layer)以及数据层。该QA层接收输入的混合语料库，诸如存档数据，例如维基百科，以及在线数据，例如博客以及源(feed)，来自移动设备的实时信息也作为该混合语料库的输入。