[发明专利]一种视频和无线融合的大规模人群分析方法

权利要求书

1.一种视频和无线融合的大规模人群分析方法，其特征在于，包括：

步骤a：获取原始数据；所述原始数据包括视频模态原始数据和WiFi模态原始数据；

步骤b：对所述原始数据进行时空对准并得到两模态第一数据；

步骤c：对所述两模态第一数据进行特征提取得到两模态特征数据，所述两模态特征数据包括：高层抽象人群时空分布特征；

步骤d：对特征数据进行特征融合并输出融合数据，对融合数据解码并输出人群统计结果；包括：通过利用2D-RNN模型对所述高层抽象人群时空分布特征进行融合得到中间模态特征，然后利用LSTM解码器和全连接层对所述中间模态特征进行解码并输出人群统计信息；

所述步骤d具体包括：

步骤d1：所述视频模态原始数据和所述WiFi模态原始数据被分别单独分配一个所述2D-RNN模型进行处理，两个所述2D-RNN模型的隐藏层平面分别连接有向迁移层，并通过

计算视频模态融合特征，通过更换下标的公式计算WiFi模态融合特征；其中为k时刻位于视频模态高层抽象特征(i，j)位置的特征向量，和分别为每个模态内部的隐藏层k时刻(i，j)位置的状态，各权重矩阵U_v、W_v、S_v、T_v和V_v分别负责对输入或隐藏层状态进行映射，b_v和c_v为偏置；

步骤d2：所述LSTM解码器将局部融合特征解码为局部子区域人数，所述局部子区域人数对子区域面积进行运算处理得到局部人群密度；

步骤d3：添加全连接层，全连接层对所述局部子区域人数积分得到全局人数，所述全局人数对场景区域进行运算处理得到全局人群密度；

步骤e：对所述视频模态原始数据进行手工标记，利用视频模态原始数据的标记对WiFi模态原始数据进行监督迁移标记；

步骤f：基于步骤a～d建立整体模型，基于步骤e实现所述两模态原始数据的标注，进行模型的训练。

2.根据权利要求1所述的一种视频和无线融合的大规模人群分析方法，其特征在于，所述视频模态数据通过摄像头捕获，所述WiFi模态数据通过WiFi嗅探器捕获。

3.根据权利要求1所述的一种视频和无线融合的大规模人群分析方法，其特征在于，所述步骤b包括：对视频模态数据进行时空对准和对WiFi模态数据进行时空对准；

所述时空对准包括：时间对准和空间对准；所述时间对准：采用滑动时间窗口机制，将所述时间窗口内所述WiFi模态数据和所述视频模态数据分别对准；所述空间对准：将所述WiFi模态数据和所述视频模态数据的坐标空间统一映射到现实世界坐标系内。

4.根据权利要求3所述的一种视频和无线融合的大规模人群分析方法，其特征在于，

所述视频模态数据进行时间对准包括：将视频流的时序结构图构建多视频数据间的拓扑关系，利用关键帧提取方法最大化保留时间窗口中的时间特定信息并大幅缩减数据量，得到视频模态时间对准数据；

所述视频模态数据进行空间对准包括：采取摄像头参数并通过公式将图像像素转换至世界坐标内，得到视频模态空间对准数据；

所述WiFi模态数据进行时间对准包括：对所述窗口内每一参考位置的RSS求取均值和方差，构建WiFi定位指纹库，得到WiFi模态时间对准数据；

所述WiFi模态数据进行空间对准包括：

步骤1：构建多信道指纹向量

即，将RSS向量扩展为c×m维多信道指纹向量，其中c为信道集数，m为AP数，形成多信道指纹库；

步骤2：构建多信道指纹偏置

并结合所述多信道指纹库，进行WiFi指纹定位后，得到WiFi模态空间对准数据；其中，R_ij和δ_ij分别为第j个参考位置处第i个AP-信道对的RSS均值和标准差，r_i为移动设备第i个AP-信道对的RSS均值。