[发明专利]一种基于计算机视觉的苹果线上线下采摘交互系统及方法

权利要求书

1.一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，包括如下步骤：

a. 对处于采摘期的苹果基地内的每个苹果制作唯一标识码，所述唯一标识码悬挂于对应的苹果一侧；

b. 通过全景摄像机对所述苹果基地进行360立体三维建模，并将立体三维模型发布到苹果数字化采摘模块；

c. 苹果数字化采摘模块识别立体三维模型中的苹果图像并对苹果及对应的唯一标识码进行图像分割划块处理；

d．接收用户对某个分割后的苹果及唯一标识码图像的输入信息，并通过机器学习识别出该苹果图像对应的唯一标识码；

e.对用户选择的苹果进行结算，同时线下获取用户的信息，将对应唯一标识码的苹果人工打包发货。

2.根据权利要求1所述的一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，步骤d中，所述机器学习包括以下步骤：

S1：使用Lableme标注工具对收集到的唯一标识码图像进行标注，标注唯一标识码的号码牌作为1类，唯一标识码上的数字标识作为2类，得到数据集样本；

S2：将S1中的号码牌和数字标识作为标注数据，把其中数据集的75%作为训练数据，25%作为测试数据；

S3：构造faster RCNN图像检测网络包括，以深度卷积神经网络作为特征提取层，生成候选框的区域提取网络，收集候选框的感兴趣区域池化层，分类和回归网络判断目标图像和回归检测框；

S4：faster RCNN首先使用一组基础的卷积层、relu激活函数、pooling池化层提取图像的特征图（feature maps），该feature maps用于后续的候选框提取网络（Region ProposalNetworks）和全连接层；

S5：候选框提取网络用于生成候选框（region proposals）；

S6：通过softmax判别锚点框（anchors）属于正样本或者负样本，并修正当前anchors，感兴趣区域池化层（ROI Pooling）；

S7：通过整合的feature maps和proposals，作为后续判别目标类别；

S8：后经过分类和回归网络判断目标图像和回归检测框；

S9：依据以上S1-S8步骤，训练苹果识别模型；

S10：模型后处理，判断模型检测到的号码牌以及数字标识，如果号码牌内不存在数字标识则删除；如果数字标识不在号码牌中则删除。

3.根据权利要求1所述的一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，用户在苹果数字化采摘模块中系统漫游能够查看苹果基地各项信息，包括基地实景模型、基地农事操作记录、苹果长势数据、气象数据及其它物联网监测数据。

4.根据权利要求3所述的一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，所述用户包括会员用户和游客用户，会员用户在线上完成采摘后线下同步采摘发货；游客用户线上采摘为体验采摘不发货。

5.根据权利要求4所述的一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，游客用户通过点击苹果图像有一定几率偷摘到苹果，偷摘到的苹果无需支付，累积达到一定数量即可直接进入线下采摘和配送环节。

6.根据权利要求5所述的一种基于计算机视觉的苹果线上线下采摘方法，其特征在于，会员用户能够与其他会员用户之间进行会话、采摘邀请及苹果转赠。