[发明专利]共指理解电子设备及其控制方法

说明书

公开了一种提供对用户查询的回答的电子设备。电子设备包括麦克风、相机、存储器以及至少一个处理器。处理器控制电子设备以：基于查询中包括共指，识别通过相机获取的图像中的与共指对应的感兴趣区域；基于包括查询的对话内容，在所识别的感兴趣区域中所包括的至少一个对象之中识别共指所指代的对象，并且提供关于所识别对象的信息作为回答。

技术领域

本公开涉及一种提供对用户询问的响应的电子设备。例如，本公开涉及以复合方式考虑与用户和周围环境相关的各种因素以便正确理解用户所说出的共指的含义的电子设备。

背景技术

在相关技术中，已经对能够理解用户的话语内容的内容并提供所述内容的答案的人工智能模型(AI)进行了各种研究。AI模型可以用于例如机器人等中，用于对陈列有多种商品的商店中的访客做出响应。

如果在人所说出的句子中包括共指(co-reference)，则无法清楚地理解共指本身的含义，并且因此，在仅利用包括相关技术的AI模型的电子设备的情况下，难以通过清楚地理解共指来提供适当的响应。

发明内容

技术问题

本公开提供一种即使用户的输入语音中包括共指也能够使用共指的距离属性和共指所指代的对象的数量等在通过相机拍摄的图像上清楚地识别共指所指代的对象的电子设备。

技术方案

根据示例性实施例，电子设备包括：麦克风；相机；存储器，其配置为存储至少一个指令；以及至少一个处理器，其连接到麦克风、相机和存储器，并且处理器通过执行至少一个指令配置为控制电子设备以：获得对应于通过麦克风输入的语音的文本，并且基于所获得的文本中包括查询，提供对查询的回答。此外，处理器配置为：基于在查询中包括共指，识别通过相机获取的图像中的与共指对应的感兴趣区域，基于包括查询的对话内容，在所识别的感兴趣区域中所包括的至少一个对象之中识别共指所指代的对象，并且提供关于所识别对象的信息作为回答。

处理器可以控制电子设备以基于共指的距离属性来将所获取的图像中的不同区域识别为感兴趣区域。

具体地，处理器可以基于共指是指代位于近距离处的对象的共指，将在所获取的图像中位于相对近距离处的区域识别为感兴趣区域，并且基于共指是指代位于远距离处的对象的共指，将在所获取的图像中位于相对远距离处的区域识别为感兴趣区域。

当第一共指包括在第一查询中并且第二共指包括在所述第一查询或在第一查询之后输入的第二查询中时，处理器可以根据在所获取的图像的一个区域中识别出第一查询中所包括的第一共指所指代的第一对象，基于第一共指和第二共指的距离属性确定第一对象与第二共指所指代的第二对象之间的相对位置关系，并且将所获取的图像中相对于所述一个区域具有所述相对位置关系的区域识别为对应于第二共指的感兴趣区域。

处理器可以从所获取的图像中识别其中各自存在一个对象的至少一个区域，并且基于所获取的图像中的所识别区域的密度识别与共指对应的感兴趣区域。

在这种情况下，处理器可以基于共指指代单个对象，将来自所获取的图像的具有相对低密度的所识别区域中的区域识别为感兴趣区域，并且基于共指指代多个对象，将来自所获取的图像的具有相对高密度的所识别区域中的区域识别为感兴趣区域。

存储器可以存储与供电子设备进行操作的空间的地图有关的信息和存在于空间中的对象的位置信息。在此，处理器可以基于共指包括关于对象的类型的信息，从所存储的对象的位置信息获取所述类型的对象所存在的位置信息，并且基于与地图有关的信息，从所获取的图像识别与所获取的位置信息匹配的感兴趣区域。

处理器可以在所获取的图像中识别存在对象的至少一个区域，识别所识别区域之中的感兴趣区域中所包括的对象，基于对话内容包括查询、先前查询和对先前查询的回答，获取关于共指所指代的对象的信息，并且基于所获得的关于对象的信息，在感兴趣区域中的区域中所包括的对象之中识别共指所指代的对象。