[发明专利]基于视觉分析的超市自助结账智能系统

说明书

技术领域

本发明涉及超市自助结账、图像分析领域，尤其涉及一种基于视觉分析的超市自助结账智能系统。

背景技术

目前，随着互联网技术与计算机技术发展，尤其硬件制造与机器学习迅速发展，利用机器学习可以代替生活中很多简单的重复的人类工作。可以预见，随着时间的推移，人工智能将逐渐成熟，机器将取代生活中的方方面。同时，网络支付已经应用在日常生活中的方方面面，包括现有的超市结账系统。

现有超市结账系统，需要大量收银员每天做同一种重复的工作。针对成本以及效率问题，将以机器学习为基础的图像识别与视频分析技术应用在超市自助结账系统以便于提高超市系统质量和办公效率，因而，商品识别以及人体行为的视觉分析是实现自动化结账的必然需求。

然而，现有超市自助结账系统中，都是建立在顾客诚信的基础上，还没有一种有效的手段来完成结账过程中存在的异常行为，以保证和满足超市结账系统准确、稳定、高效的严格要求。

发明内容

本发明的目的是提供一种基于视觉分析的超市自助结账智能系统，可以提高超市结账系统的自动化程度，并节约成本，提高效率，保证稳定性。

本发明的目的是通过以下技术方案实现的：

一种基于视觉分析的超市自助结账智能系统，包括：摄像头、商品信息提取模块、价格显示模块、商品识别模块、视觉分析模块与视频录制模块；其中：

摄像头，用于采集图像供商品信息提取模块、视觉分析模块与视频录制模块使用；

商品信息提取模块，用于在用户携带所需购买的商品进入商品准备区后提取各个商品的重量及图像信息，还用于在扫码区域获取各个商品的条码信息，且将每一商品的条码、重量及图像信息相关联；

价格显示模块，用于提取商品的条码信息后显示相应商品的价格，并将各个商品的价格相加显示最终的总价格；

商品识别模块，用于根据商品的条码、重量及图像信息进行商品的识别与验证；

视觉分析模块，用于当用户进入商品准备区后，利用视频跟踪技术对用户的行为进行分析识别，直至结账成功；

视频录制模块，用于录制结账视频信息并保存。

所述商品信息提取模块包括：商品条码提取模块，商品重量提取模块，商品图像提取模块；

商品重量提取模块，用于通过计算商品准备区中称重台上总商品重量与取走当前商品后的重量之差，来确定当前商品重量；

商品图像提取模块，用于将摄像头实时采集的商品准备区中当前商品被取走前后的图像做差获得当前商品的图像信息；

所述商品条码提取模块，用于通过扫描枪获取当前商品的条码信息。

所述根据商品的条码、重量及图像信息进行商品的识别与验证包括：

对当前商品的图像信息中提取多个图像特征点；

利用提取的多个图像特征点作为单词，在特征点索引库中检索，选取最相似的一部分商品作为初步结果；

对初步结果与当前商品的图像信息进行特征点几何匹配，去除误识结果；

将去除误识结果后的检索结果与当前商品的重量和条码信息融合，来对当前商品进行验证。

所述利用视频跟踪技术对用户的行为进行分析识别包括：

利用深度图和颜色图进行人体骨骼定位，进而精准定位手部；

对手部的运行轨迹进行跟踪，并利用机器学习分类方法，对非正常的手势进行识别。

该系统还包括：

结算模块，用于通过扫描枪获取用户出示的付款码，完成商品的结算。

由上述本发明提供的技术方案可以看出，利用多种信息融合的方式对商品进行识别，具有可靠性；同时跟踪并分析顾客的行为，自动化地对顾客结账过程进行监督，节约人力成本；多个模块协作，保证了整个系统的稳定性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种基于视觉分析的超市自助结账智能系统的示意图；

图2为本发明实施例提供的为基于视觉分析的超市自助结账智能系统的实施流程图；

图3为本发明实施例提供的提取商品图像信息的流程图；

图4为本发明实施例提供的商品识别与验证的流程图。

具体实施方式