[发明专利]设备控制方法、装置、电子设备和计算机可读介质

权利要求书

1.一种设备控制方法，包括：

获取图像传感器所采集的第一物品图像和第二物品图像，其中，所述第一物品图像中显示了多个物品，所述第二物品图像中显示了多个物品，所述第一物品图像是指用户在获取物品之前，自动售货柜中存放多个物品时的图像，所述第二物品图像是用户在获取物品之后，自动售货柜中存放多个物品时的图像；

对所述第一物品图像中显示的各个物品和所述第二物品图像中显示的各个物品分别进行标注处理以生成第一物品标注图像和第二物品标注图像；

对所述第一物品标注图像和所述第二物品标注图像分别进行图像特征提取处理，以生成第一物品特征向量和第二物品特征向量；

将所述第一物品特征向量和所述第二物品特征向量分别输入至预先训练的图像识别模型中，得到第一物品识别结果和第二物品识别结果，其中，所述第一物品识别结果包括第一物品信息组，所述第二物品识别结果包括第二物品信息组，所述第一物品信息组中的物品信息包括物品名称、对应所述物品名称的物品位置和物品数量，所述第二物品信息组中的物品信息包括物品名称、对应所述物品名称的物品位置和物品数量；

根据所述第一物品信息组包括的各个物品名称、物品位置、物品数量和所述第二物品信息组包括的各个物品名称、物品位置、物品数量，生成补货信息；

其中，生成补货信息，包括：

从所述第二物品信息组包括的各个物品名称中检测与所述第一物品信息组包括的各个物品名称不匹配的物品名称；

响应于检测的结果为空，确定所述第一物品信息组包括的每个物品名称对应的物品数量与所述第二物品信息组中对应所述物品名称的物品数量是否相同；

将物品数量不相同的物品名称确定为待补货物品名称；

将每个待补货物品名称对应的第一物品信息包括的物品数量和对应的第二物品信息包括的物品数量的差值确定为待补货数量；

将每个待补货物品名称对应的物品位置确定为待补货位置；

将所确定的待补货物品名称中的每个待补货物品名称、所述待补货物品名称对应的待补货数量和待补货位置进行组合以生成二元组，得到二元组集作为补货信息；

其中，所述图像识别模型是通过以下步骤训练得到的：

获取训练样本集，其中，所述训练样本集中的训练样本包括：样本图像，所述样本图像包括：样本名称组、样本面积组、样本特征向量组、样本数量组、样本位置组，所述样本名称组中的样本名称对应所述样本面积组中的样本面积，所述样本名称组中的样本名称对应所述样本特征向量组中的样本特征向量，所述样本名称组中的样本名称对应所述样本数量组中的样本数量，所述样本名称组中的样本名称对应所述样本位置组中的样本位置；

基于训练样本集，执行如下处理步骤：

将训练样本集中的至少一个训练样本包括的样本图像输入至初始神经网络，得到所述至少一个训练样本中的每个训练样本对应的图像识别结果，其中，所述图像识别结果包括：名称组、面积组、特征向量组、数量组、位置组，所述名称组中的名称对应所述面积组中的面积，所述名称组中的名称对应所述特征向量组中的特征向量，所述名称组中的名称对应所述数量组中的数量，所述名称组中的名称对应所述位置组中的位置；

基于预设的损失函数，确定所述至少一个训练样本中的每个训练样本和对应所述训练样本的图像识别结果之间的损失值；

响应于确定损失值小于等于预设阈值，将初始神经网络确定为图像识别模型。

2.根据权利要求1所述的方法，其中，所述方法还包括：

根据所述补货信息，控制相关联的补货机器人进行补货操作。

3.根据权利要求1所述的方法，其中，所述方法还包括：

响应于确定损失值大于所述预设阈值，调整初始神经网络的网络参数，以及使用未使用过的训练样本组成训练样本集，将调整后的初始神经网络作为初始神经网络，再次执行所述处理步骤。

4.根据权利要求1所述的方法，其中，所述对所述第一物品标注图像和所述第二物品标注图像分别进行图像特征提取处理，以生成第一物品特征向量和第二物品特征向量，包括：

将所述第一物品标注图像输入至预先训练的图像特征提取网络，得到第一物品特征向量；

将所述第二物品标注图像输入至所述图像特征提取网络，得到第二物品特征向量。