[发明专利]用于建议对象放置的系统和方法

说明书

用于提供视觉辅助的放置建议的系统和方法包括：获得构造成使对象保持在腔室内的架子的图像，多个对象在架子上的放置遵循预设约束，预设约束对应于多个对象中的相应对象的特征，该特征与架子上的相应位置的物理参数相关；分析图像，以确定对象在架子上的放置是否违反预设约束；以及根据对违反至少一个预设约束的确定，生成第一输出，第一输出提供遵守一个或多个预设约束而将第一对象正确地放置在架子上的指导，第一输出根据第一对象的物理特征且考虑已放置在架子上的其它对象而生成，物理特征与架子上的相应位置的物理参数相关。

相关申请的交叉引用

本申请要求于2019年11月4日提交的第16/673,831号美国申请的权益，该美国申请的公开内容通过整体引用并入本文中。

技术领域

本公开涉及对象放置建议的领域，尤其涉及用于自动提供在家用电器(例如，洗碗机)中优化放置具有预设约束的对象的建议的系统和方法。

背景技术

传统的家用电器，例如洗碗机，依赖于用户手动装载餐具。然而，用户很少注意与待清洗的产品相关联的说明或者在洗碗机的说明书上列出的装载餐具的说明。事实上，将餐具装载到洗碗机中的方式可以在清洗质量、资源消耗(水、能源、肥皂等)和时间消耗方面显著影响清洗过程的性能。有时，不合适的装载，例如将餐具装载到错误的架子上(例如，在顶部或底部)、装载在架子上的错误位置、朝向错误的方向，和/或将对洗碗机不安全的对象装载到洗碗机中，可导致餐具损坏，甚至导致洗碗机发生故障。例如，不当装载可堵塞排水系统，或导致零件在干燥过程中熔化，从而影响洗碗机的使用寿命。因此，这些传统的家用电器要求用户阅读、理解和实际运用知识，和/或获得与如何正确地将餐具装载到洗碗机中相关的重要经验。即使用户愿意查看洗碗机说明书或其它在线资源(例如，直观地演示如何装载洗碗机的图像或视频)以学习如何正确地装载洗碗机，用户在查看说明书或在线资源的同时握持和装载餐具，也不太方便。这样的过程可能不直观、繁琐和中断，使用户感到沮丧，努力转变并遵循从另一媒介演示的装载方案，以装载位于真实的厨房空间中的洗碗机。

出于这些原因，需要改进的方法和系统，来帮助用户将餐具装载到洗碗机的架子上，并提供关于这种装载过程的建议和指导。

发明内容

因此，需要一种方法和系统来帮助用户正确且有效地将餐具装载到洗碗机中，例如，通过视觉辅助建议系统来帮助用户正确且有效地将餐具装载到洗碗机中，该系统提供与正确的洗碗机装载相关的直观且方便的视觉或音频指导和/或建议。

下面描述的实施方式提供用于向用户提供视觉辅助的帮助的系统和方法，以正确地将餐具装载到洗碗机中。该视觉辅助的帮助使用安装在洗碗机上的一个或多个内置相机和/或用户的移动设备上的一个或多个相机来采集洗碗机腔室的视频和/或图像。不需要任何用户输入来启动图像采集过程或请求将餐具装载到洗碗机中的建议或指导，可响应各种触发事件来启动相机，触发事件例如当系统检测到用户打开洗碗机门时(例如，表明用户将要在洗碗机中的架子上装载餐具)，当系统检测到用户将架子推回(例如，表明用户已完成装载餐具且即将开始清洗过程)和/或系统(例如，用户的移动设备)检测到用户在用户的移动设备上启动应用程序时。

在采集图像之后，放置建议系统自动开始分析图像，以识别餐具的一个或多个特征(例如尺寸、形状、方向和/或材料)，并生成与如何正确地装载餐具和/或如何纠正架子上的一个或多个现有餐具的不当装载相关的建议和/或指导。该建议和/或指导可通过视觉输出(例如，在洗碗机上和/或在用户的移动设备显示屏上显示)、音频输出(例如，洗碗机上的扬声器和/或用户的移动设备的扬声器)和/或洗碗机中的其它更直观和交互的视觉提示(例如，向架子上的优化位置闪烁激光以引导用户将餐具放置在这样的位置上)来提供。因此，不需要额外的用户输入来指示放置建议系统开始执行图像分析并运行如本文所讨论的各种算法，以开始执行图像分析并运行如本文所讨论的各种算法以生成建议。这种视觉辅助的放置建议可有效且高效地引导用户将餐具正确地装载到洗碗机中，从而避免由于餐具放置不当而损坏餐具和/或洗碗机。