[发明专利]基于捕捉到的笔画信息来与助理组件交互

说明书

本文描述了接收在用户使用输入捕捉设备输入手写笔记时捕捉到的笔画信息的计算机实现的技术。该技术然后自动地对捕捉到的笔画信息执行分析以产生输出分析信息。基于该输出分析信息，该技术使用助理组件来标识对捕捉到的笔画信息的响应和/或标识要执行的动作。该技术然后与捕捉到的原始笔画信息一起呈现该响应。附加地或替换地，该技术执行该动作。在一种情形中，该响应是基于文本的响应；该基于文本的响应可以按自由形式的手写样式呈现以给予用户虚拟助理正在响应该用户自己的笔记的印象。在另一情形中，该响应使用户参与任何类型的交互式活动。

背景技术

计算行业提供促成记笔记的各种应用。许多这样的应用专用于简单地捕捉并且稍后检索手写内容的核心任务。虽然这些应用是有用的，但在该技术领域中存在相当大的改进空间。

概述

本文描述了接收在用户使用输入捕捉设备输入手写笔记时捕捉到的笔画信息的计算机实现的技术。该技术然后自动地对捕捉到的笔画信息执行分析以产生输出分析信息，而不是被用户提示这样做。基于该输出分析信息，该技术使用助理组件来标识将要呈现给用户的对捕捉到的笔画信息的响应和/或标识要执行的动作。在一些场景中，响应可以是基于输出分析信息选择的包含更多内容的对话的一部分。该技术然后显示捕捉到的笔画信息。该技术还呈现所标识的响应(如果有)和/或执行所标识的动作。在一些实现中，该技术可以按自由形式的手写样式制定响应以给予虚拟助理正在以自由形式手写的形式响应该用户的印象。

例如，考虑其中用户输入以下笔记的情形：包含实体项“Jill”和“Tuesday(周二)”的“Call Jill on Tuesday(周二打电话给Jill)”。该技术可使用语言分析来识别该笔记中的实体项。该技术还可标识笔记的总体意图，例如对应于在一周中的特定日子打电话给名为Jill的人的期望。该技术然后可使用助理组件来基于所选对话制定对该笔记的响应，所选对话基于已经对该笔记执行的分析而被认为是恰当的。例如，响应可出于设置涉及笔记的提醒的最终目标来要求用户提供未解决的提醒信息的片段。例如，响应可要求用户确认名为“Jill”的人的身份。在另一场景中，该技术可调用对话，这具有执行虚拟助理和用户之间的交互式娱乐活动(诸如游戏)的效果。

以上概述的计算机实现的技术由此不仅是用于存储和检索手写笔记的机制，而且还提供了自动地使用户参与涉及笔记的对话和/或自动执行与笔记相关联的动作的方式。总之，该技术允许用户以高效的方式执行任务，例如通过消除用户原本需要以单独且手动的方式执行的操作。该能力进而高效地使用被用来实现该技术的计算设备的计算资源，例如通过消除原本将消耗这些资源的步骤。

另外，该技术是非介入式的，因为它允许用户以他或她已经习惯的方式写笔记。换言之，该技术不需要用户学习不同于使用笔和纸来捕捉笔记的普通实践的特殊记笔记协议。该技术而是在用户不作为的情况下自动地在该用户以传统方式创建的笔记之“上”添加补充信息和控制能力层。该技术的这一特性使用户更容易地学习和使用该技术。

以上技术可体现在各种类型的系统、设备、组件、方法、计算机可读存储介质、数据结构、图形用户界面呈现、制品等中。

提供本概述以便以简化的形式介绍一些概念；这些概念将在以下的详细描述中作进一步描述。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图简述

图1示出了用于处理在用户使用输入捕捉设备来输入徒手墨水笔画时产生的捕捉到的笔画信息的系统。

图2示出了作为图1的系统的一部分的墨水分析组件的一个实现。

图3示出了作为图1的系统的另一部分的画布呈现组件的一个实现。

图4示出了墨水分析组件(图2)可解释捕捉到的笔画信息以产生识别出的笔画信息的一种方式。

图5示出了实现标识组件的一种方式；(图2的)墨水分析组件可采用这些类型的标识组件中的一者或多者。