[发明专利]基于3D点云双边扩增算法的视觉辅助系统

权利要求书

1.一种基于3D点云双边扩增算法的视觉辅助系统，其特征在于，包括数据采集装置、数据生成装置、物体定位及分类装置和语音合成及播放装置；

数据采集装置多方位地采集室内场景图像，并输入至数据生成装置；

数据生成装置将输入的图像数据转化生成3D点云数据，输出至物体定位及分类装置；

物体定位及分类装置利用基于双边扩增算法的语义分割模型对3D点云数据进行语义分割，将得到的语义分割结果与模板库进行点云配准，识别出目标物体，并计算出在世界坐标系下的位姿和物体抓取点，输出最终的结果，该结果包括物体类别和以人所在位置为中心的物体距离；

语音合成及播放装置将物体定位及分类装置输出的结果生成对应的文字信息和音频信息，并设置计时提醒器对音频信息进行播放，同时将文字信息反馈至监护人员绑定的设备；

基于双边扩增算法的语义分割模型包括：

局部邻域模块，对输入的3D点云数据使用下采样得到具有代表性的关键点，再以关键点为中心通过八叉近邻查找算法取得均匀的邻域点，构建出一个初步的局部环境，并将点云特征分为几何信息和特征信息；

特征提取器，用于从特征信息中捕捉初步的语义背景，并输入至双边扩增模块中的第一个增强块；

双边扩增模块，包括多个增强块，增强块从颜色和位置信息中相互学习偏移量对邻域点做偏移，得到增强的局部语境，并利用点云动态核卷积自适应的学习权重系数来构造卷积核，提取相应的邻域特征，将邻域特征和坐标位置作为后续增强块的输入得到多分辨率特征图；

提取输入的坐标信息和特征信息的绝对位置和相对位置，合并为局部上下文公式(3)中利用DKConv动态核卷积学习偏移量得到新的位置同样求得新的特征信息将两个用DKConv动态核卷积学习到的偏移量串联生成增强的局部语境结合混合聚合函数，实现点的排列不变性，公式(3)如下：

其中，p_j为邻域点坐标信息，为更新偏移的邻域坐标，f_i为中心点局部特征信息，为包含全局和局部的特征信息，为三维实数空间；

生成动态核卷积需要先随机定义权重矩阵，然后根据中心点和邻域点的位置自适应学习权重来构造内核函数对于位置信息上的偏移量可通过公式(4)学习，公式(4)如下：

其中，为中心点，SOP为聚合函数，为内核函数；

自适应融合模块，用于自适应的融合多分辨率特征图为一个综合特征图输出至全连接层；

全连接层，用于根据综合特征图预测所有点的语义标签，得到语义分割结果。

2.根据权利要求1所述的基于3D点云双边扩增算法的视觉辅助系统，其特征在于，局部邻域模块使用了八叉近邻查找算法取得均匀的邻域点，包括以下步骤：

设置下采样后的点为关键点，以关键点为中心构建划分八个空间，每个空间选择距离关键点最近的点代表局部邻域，空间将不再继续划分，最后将点和局部信息输出至语义分割模型。

3.根据权利要求1所述的基于3D点云双边扩增算法的视觉辅助系统，其特征在于，自适应融合模块利用多层感知机将各个多分辨率特征图的通道都变为同一通道数，再利用近邻加权插值法对每个多分辨率特征图进行渐进式上采样，近邻加权插值法能够找到前一层特征图中与该层特征图中的点最近的K个点，通过加权平均在该层特征图中进行插值，直到生成全尺寸特征图，然后通过归一化得到全尺寸特征图的权重参数，最后，将全尺寸特征图和对应的权重参数进行融合，得到最终输出的综合特征图。

4.根据权利要求1所述的基于3D点云双边扩增算法的视觉辅助系统，其特征在于，局部邻域模块使用的采样算法、空间划分算法，自适应融合模块中的插值算法采用了多编程语言开发的方式加快了模型训练的速度，包括以下步骤：

将程序封装在cuda文件中，编写C++文件绑定cuda内核函数，通过python的pytorch架构的CUDAExtension模块对cuda和c++文件进行编译，生成.so文件，最后再python程序中调用CUDAkernel函数。

5.根据权利要求1所述的基于3D点云双边扩增算法的视觉辅助系统，其特征在于，当物体类别属于危险物品类别时，语音合成及播放装置会每隔5分钟以特殊音效和人声播报提醒用户，当用户超过一小时未离开警戒区域，系统将通过短信通知绑定的设备。