[发明专利]一种基于特征融合的胶囊网络随机路由方法

权利要求书

1.一种基于特征融合的胶囊网络随机路由方法，其特征在于该方法通过如下技术方案实现：

S1、一般性特征提取:

首先，从原始特征输入图像中经过卷积操作提取到的各类特征信息中提取出不受空间变换影响的一般性特征，一般性特征作为不随视角变化的被观测物体特征，是特征对空间变换不变性体现；在这里，使用1x1卷积来作为一般性特征的特征提取器，1x1卷积结构经过训练之后能够将特征的维度到从低维拓展到更高维，在这里就是将一般性特征从L层胶囊的维度提升到与观测特征一致；在这里的1x1卷积操作为卷积神经网络中的池化操作，将原始特征中的核心特征提取出来，同时为模型增加了空间变换不变性，与池化操作不同的是，1x1卷积是由低维到高维的提取，激活函数Squashing的计算过程如下：

V_i＝Squashing(W_1×1*U_i+b_i)其中V_i定义为胶囊的输出，W_1x1代表1x 1的卷积核，b₁是偏置项；

然后，从不同的视角点出发，对于一般性特征U_S_i施加不同的观测动作，得到被观测对象经过视角变换的观测特征U_O_ij,在这里同样定义一个仿射变换矩阵W_ij，它代表了施加在被观测对象上的视角变换情况；

U_O_ij＝U_S_i*W_ij

其中，R_l是L层胶囊的集合，R_l+1是L+1层胶囊的集合，W_ij的大小为[H,W,D],H为L层胶囊的个数，W是L+1层胶囊的个数，D是L+1层胶囊的维度；

S2、特征融合

经过步骤S1中的一般性特征提取之后，获得了一般性特征U_S_i，以及经过视角变换之后的观测特征U_O_ij；接下来需要将他们融合起来，作为协议路由的起点，之后经过协议路由的组合得到观测结果；显然的，不同的位置的一般性特征对最终的观测结果的影响程度必然是不同的；也就是说，协议路由所操作的融合特征对于一般性特征是有选择的，对获得最终的观测结果有利的特征是融合特征所需要的，需要保留甚至加强它对于融合特征的贡献，而对融合特征产生负影响的特征，需要减弱它对于融合特征的影响；最终，寻找到一种最优的组合方式对一般性特征和观测特征进行融合，最终获取观测结果；

在这里引入选择权重P_ij，用来衡量胶囊i的一般性特征U_S_i对融合特征U_C_ij的影响程度，i为任意L层胶囊，j为任意L+1层胶囊；将一般性特征U_S_i按照它的选择权重P_ij与观测特征U_O_ij进行融合，得到胶囊i对于胶囊j的融合特征U_C_ij；

U_C_ij＝U_O_ij+P_ij*U_S_i，

其中D_ij是胶囊i的一般性特征U_S_i与融合特征U_C_ij之间的相关系数；它对于所有的L层胶囊i的选择权重P_ij和为1；

最终，将U_S_i按照选择权重P_ij和U_O_ij进行特征融合，得到融合特征U_C_ij，对融合特征U_C_ij按照特征之间的空间位置信息进行组合，在这里保留了传统的胶囊网络中的贡献权重C_ij，用来衡量融合特征对L+1层胶囊j的输出，也就是观测结果V_j的贡献程度，这里的贡献程度也即是特征之间空间位置关系的体现；将融合特征U_O_ij按照各自的贡献特征C_ij进行线性组合，得到胶囊j的输入S_j，对S_j进行Squshing非线性激活得到最终的胶囊j输出V_j；

B_ij＝U_C_ij*V_j，S_j＝∑_iC_ij*U-C_ij，V_j＝Squshing(S_j)

S3、路由参数的初始化

传统的CapsNet通常用均匀分布对路由参数进行初始化；与之不同，将前一层胶囊的激活概率作为先验参数加入协议路由过程；首先将L层胶囊i的一般性特征U_S_i的激活概率作为P_ij的先验参数，用来加速迭代过程；

P_ij＝||U-S_i||

其中，R_l是L层胶囊的集合，R_l+1是L+1层胶囊的集合，||U_S_i||是L层胶囊i的一般性特征U_S_i的激活概率。