[发明专利]一种基于图像特征和GPS定位的城市建筑物识别方法

权利要求书

1.一种基于图像特征和GPS定位的城市建筑物识别方法，其特征是，它包括以下步骤：

(1)系统参数初始化的过程：

(1.1)使用智能设备获取城市建筑物中各建筑物的彩色图像，并将其导入智能设备中城市建筑物识别系统，对每一张输入该系统的彩色图像，按照w×h的固定尺寸进行图像缩放，缩放过程为：

(1.1.1)城市建筑物识别系统接收到一个尺寸为m×n的彩色图像；

(1.1.2)将每张图像的列缩小m/w倍，行缩小n/h倍，生成的w×h的彩色图像，将其传递给数据库模块中的数据库存储；

(1.2)使用具有GPS功能的智能设备，进行相应建筑物地理位置搜集，其经度和维度分别用度、分、秒的形式进行保存，与步骤(1.1)中采集的对应城市建筑物图像相结合，共同定义建筑物名称，将其放到数据库中存储，并传递给建筑物特征提取模块；

(1.3)在建筑物特征提取模块中，将建筑物彩色样本图像统一尺寸为160×120，分别进行以下处理：

(1.3.1)对每一张样本图像P，提取该图像P所含有的纹理特征，其过程为：

(1.3.1.1)在存储系统中的彩色图像P水平和垂直方向上，分别使用[-1，0，1]和[-1，0，1]^T两个梯度算子进行卷积操作，得到图像P在R、G、B三个通道上的水平和垂直方向上的梯度分量，用gradscalx表示R、G、B三个通道上的水平梯度分量，用gradscaly表示R、G、B三个通道上的垂直梯度分量；

(1.3.1.2)根据彩色图像P的R、G、B三个通道水平和垂直梯度值，计算图像P中每个像素点(x，y)处梯度的幅值和方向，计算过程如下：

由于输入图像P是三维彩色图像，因此，需要对图像P的R、G、B三个通道共同计算，分别得到R、G、B三个通道上的梯度值，即一个三维矩阵，用maxgrad表示，然后从maxgrad中选出每一点上的R、G、B三个分量中梯度幅度最大的幅度值，组成的一个梯度值矩阵，maxgrad的计算方式如下：

通过从maxgrad中选出每一点上的R、G、B三个分量中梯度幅度最大的幅度值，得到了一个彩色图像的梯度值矩阵，该矩阵是一个二维矩阵，矩阵中的每个点代表图像中该点的梯度幅值，梯度的方向需要通过二维的水平和垂直方向上的梯度分量计算得到，因此首先对三维水平和垂直梯度分量进行R、G、B三通道最大值筛选，计算出二维的水平梯度分量G_x和垂直梯度分量G_y，计算过程需要一个单层循环完成：

for n＝1，2，3

％每个点的R G B分量分别求梯度并取三者最大的值

end

通过上述操作得到的图像P的二维水平方向上的梯度分量G_x和垂直方向上的梯度分量G_y，计算出P中每个像素处的梯度角度θ：

(1.3.1.3)根据图像P的长度和宽度，设置均匀分布于整个图像P的多个采样点，在每个采样点p处都会统计一个关于全局的梯度直方图特征向量，近邻敏感梯度方向直方图特征向量H_p计算如下：

其中，m和n分别是图像的宽度和高度，通过q对图像P中的所有像素点进行遍历，α是敏感参数，θ_q表示像素点q所在位置的梯度角，V_b(θ_q，b)的计算公式如下：

其中，|G_q|代表像素点q处计算的梯度的模，通过判断像素点q处的梯度角是否落在binb中，如果像素点q处的梯度角落在bin b中，则将像素点q处的梯度的模累乘以α后累加到bin b上，公式采用敏感参数α来控制像素q对H_p贡献度的大小，根据像素点与采样点之间距离的远近设置相应的权值，距离越远，对该点的贡献越小，权值也越小，通过这种方式，对每个采样点提取近邻敏感梯度方向直方图纹理特征，将多个采样点出的近邻敏感梯度方向直方图进行组合，共同组成图像P的纹理特征向量；

(1.3.2)对每一张样本图像P，提取该图像P所含有的颜色特征，其过程为：

(1.3.2.1)将彩色图像P进行颜色量化，量化到更少的颜色空间，首先，将像素点q(r，g，b)中的R、G、B三个分量的像素值转化成8位二进制数，然后根据三个分量设置的量化数量R_BITS、G_BITS、B_BITS进行右移，右移的二进制个数分别为(8-R_BITS、8-G_BITS、8-B_BITS)，量化颜色的过程如下：

R1＝bitshift(R，-(8-R_BITS))；

G1＝bitshift(G，-(8-G_BITS))；

B1＝bitshift(B，-(8-B_BITS))；

I＝R1+G1*2^R_BITS+B1*2^R_BITS*2^G_BITS；

使用(R1，G1，B1)表示转换后的十进制数，此时(r，g，b)像素点的三个分量取值范围从0～255的256个颜色，量化成新像素点(r1，g1，b1)的三个分量取值范围为0～2^R1-1的2^R1个颜色；然后通过公式I＝R1+G1*2^R_BITS+B1*2^R_BITS*2^G_BITS将彩色图像P的像素值成功量化成新像素值I，最终将256个颜色量化为(C1，C2，...，Cn)共n个颜色的颜色空间；

(1.3.2.2)由于使用的是颜色自相关图提取图像的颜色特征，颜色自相关图只考虑同一图像中相同颜色之间的空间分布关系，因此只需要对量化后的颜色进行数量统计，假设图像为P(x，y)，x、y为图像坐标，含有n个量化后的颜色(C1，C2，...，Cn)，取距离为d统计颜色自相关图的颜色对数量，做成统计直方图，直方图中的每个bin的大小都是在满足以下公式时进行计算：

bin(Ci，Cj)＝∑_x，y{||I(x，y，Ci)-I(x，y，Cj)||＝d}

其中，||*||表示像素值为Ci，Cj的两个像素的空间距离，图像自相关图中的Ci＝Cj，在整个图像P中统计距离为d的像素对个数；

(1.3.2.3)图像自相关图的本质是距离为d的像素对中每个颜色对所占有的概率，将步骤

(1.3.2.2)中获得的相同颜色对的数量除以所有距离为d的像素对，获得最终的图像P自相关图的概率；

(1.3.3)从图像P中提取出近邻敏感梯度方向直方图和颜色自相关图后，通过特征级融合的方式进行特征融合，其过程为：提取的近邻敏感梯度方向直方图的特征向量为(x1，x2，...，xn)，提取的颜色自相关图的特征向量为(y1，y2，...，ym)，两个特征向量通过特征级融合的方式进行组合，组合后的特征向量(x1，x2，...，xn，y1，y2，...，ym)作为图像P的特征，将两个特征向量通过特征级融合的方式拼接成一个代表图像P的特征向量，将该特征向量传递给降维和分类模块；

(1.4)在计算机上完成降维和分类模块的初始化过程，在初始化的过程中，接收到从建筑物特征提取模块传递来的融合特征(x1，x2，...，xn，y1，y2，...，ym)，然后进行如下操作：

(1.4.1)将高维的特征向量压缩成低维的特征向量，训练一个具有降维效果欠完备自编码器，通过编码器和解码器的共同协作，以尽量实现输出对输入的复现，使用这些特征对自编码器网络进行训练，并通过训练好的自编码器对这些特征进行降维处理，其过程为：

(1.4.1.1)初始化一个单层的欠完备自编码器网络，进行网络参数初始化，给空白网络的参数赋上一个随机的值，以供接下来的训练过程进行参数修改；

(1.4.1.2)当特征向量从输入层输入到网络时，需要经过编码器的编码过程和解码器的解码过程，将输入的特征向量编码后，再解码输出，以求输出层的输出能够还原出输入层输入的特征向量；

(1.4.1.3)将所有特征向量输入后，使用均方误差方法定义损失，然后通过小批量梯度下降法对欠完备自编码器的参数进行反向调整，循环训练epoch次，epoch达到预设的次数之后，训练结束，最终得到的模型就是训练好的欠完备自编码器，将训练自编码器的特征重新输入到自编码器，取得自编码器隐含层的输出，作为降维后的特征；

(1.4.2)用所述的降维后的特征训练极限学习机，其过程为：

(1.4.2.1)在计算刚开始时，会为极限学习机的隐含层节点随机分配参数，该节点参数包含权重W和偏置b，并且该隐含层的节点参数与输入数据互不影响，完全独立；

(1.4.2.2)当N行训练数据输入时，通过输入数据和隐含层节点参数，计算隐含层的输出矩阵，输出矩阵为N行M列，行数为输入数据的行数，列数为隐含层的节点数；

(1.4.2.3)通过N行M列输出矩阵和输出节点的个数L和期望输出T，求解大小为L行M列的输出权重矩阵，通过反向求解的方式，求得隐含层的输出权重，通过这种方式将输入数据的数据空间映射到极限学习机的特征空间中，再映射到输出；

(1.4.2.4)将训练所得的极限学习机分类器保存起来用于分类过程，然后导入智能设备中城市建筑物识别系统中；

(2)目标城市建筑物识别过程：

(2.1)使用智能设备拍摄目标城市建筑物的图像P，将其导入到基于图像特征和GPS定位的城市建筑物识别系统中，按照w×h的固定尺寸进行图像缩放，缩放过程为：

(2.1.1)城市建筑物识别系统接收一个尺寸为m×n的彩色图像；

(2.1.2)然后每张图像的列缩小m/w倍，行缩小n/h倍，生成的w×h的彩色图像传递给建筑物特征提取模块；

(2.2)获取位置信息模块在识别过程中，借助移动设备的GPS定位系统，获取用户的当前位置信息，当前位置信息由该位置坐标的经度和纬度(Long，Lat)构成，经度和维度分别用度、分、秒的形式表示，从而获取到当前位置在整个经纬网中的坐标，并将其发送给数据库模块；

(2.3)数据库模块在识别过程中，获取位置信息模块传递过来的GPS定位信息，然后以当前位置的经纬度坐标作为圆心，方圆200米的距离作为半径，形成了一个面积为200²π(m²)的圆，在数据库中搜索所有满足条件的建筑物信息，建筑物信息中包含该建筑物的经纬度坐标(Long_i，Lat_j)以及建筑物的名称，将建筑物经纬度与圆心经纬度通过进行限制，以检测建筑物是否是当前位置周围200米范围内的建筑物，如果检测结果显示建筑物在200米范围内，则该建筑物坐标点处的值设置为1，并把该建筑物的名称加入到候选建筑物列表中，若不在200米范围内，则该建筑物坐标点处的值设置为0，并且不将其加入候选建筑物列表中，最后将生成的候选建筑物列表发送给获取位置信息模块；

(2.4)建筑物特征提取模块在识别过程中，接收到从图像缩放模块传递来的已经过缩放的图像，对图像进行特征提取，其过程如下：

(2.4.1)按照步骤(1.3.1)提取一整幅缩放后的建筑物图像P纹理特征；

(2.4.2)按照步骤(1.3.2)提取一整幅缩放后的建筑物图像P颜色特征；

(2.4.3)图像的纹理和颜色特征进行特征级融合，其过程如下：

从图像P中提取出近邻敏感梯度方向直方图和颜色自相关图后，通过特征级融合的方式进行特征融合，提取的近邻敏感梯度方向直方图的特征向量为(x1，x2，...，xn)，提取的颜色自相关图的特征向量为(y1，y2，...，ym)，两个特征向量通过特征级融合的方式进行组合，组合后的特征向量(x1，x2，...，xn，y1，y2，...，ym)作为图像P的特征，将两个特征向量通过特征级融合的方式拼接成一个代表图像P的特征向量，将该特征向量传递给降维和分类模块；

(2.5)在智能设备应用程序上，降维和分类模块识别过程中，接收由建筑物特征提取模块传递过来的融合特征，处理过程如下：

(2.5.1)将特征输入到自编码器的输入层，通过自编码器的中间层的输出实现特征的降维，其过程为：

(2.5.1.1)将接收到的特征向量(x1，x2，...，xn，y1，y2，...，ym)，记作input，将input特征向量从训练好的自编码器的输入层输入；

(2.5.1.2)当特征输入到自编码器后，首先经过的是一个编码器encoder，在encoder中对input进行加权和加偏置操作，然后经过编码函数f(·)得到一个特征code，这个code就是input的另外一种维度更低的表示形式；

(2.5.1.3)将所有特征向量，对从编码器encoder中输出的code特征向量进行保存，就实现了近邻敏感梯度方向直方图特征和自相关图特征融合的特征向量的降维过程；

(2.5.2)经过极限学习机训练阶段，生成了一个用于对降维后特征进行分类的极限学习机网络，当系统接收到一张新拍摄的图像，经过缩放、特征提取、降维后，从极限学习机的输入层输入，经过初始化后不变的隐含层节点，进行加权加偏置，然后使用sigmoid激活函数进行激活，得到隐含层的输出矩阵，根据训练过程计算的隐含层的输出权重，通过如下公式得到该图像所有识别结果，

其中，H是隐含层节点的输出，是隐含层的输出权重，为输出层的输出，即别结果，然后将该识别结果传递给输出模块；

(2.6)输出模块在识别过程中，接收步骤(2.3)中根据GPS获取的位置信息得到的候选建筑物和步骤(2.5)中图像经过分类器后的分类结果；其中，分类器的分类结果是由建筑物名称和输入图像是该建筑物的概率组成，并按逆序排列，概率最大的建筑物名称和概率信息排在前列，而候选建筑物信息则以建筑物名称为主，排列顺序是随机；

分类器对一张图像的分类有n个结果，候选建筑物有m个待选名称，则在使用分类器分类结果class_name与候选建筑物build结合进行目标识别的过程，通过一个双层循环完成的，外层循环表示对分类结果的遍历，从0～n-1共n个分类结果，内层循环是对候选建筑物的遍历，从0～m-1共m个建筑物名称，然后从分类结果的高概率建筑物开始，依次判断是否在候选建筑物中存在，如果存在，则认为当前的建筑物名称就是目标建筑物的名称，并且返回结果，结束循环；如果不存在，则认为该名称不是目标建筑物的名称，跳过该分类结果，使用下一个分类结果，继续进行对比判断，直到找到正确的分类结果，并在智能设备应用程序上输出显示。