[发明专利]一种多模态自动提取交通场景信息的方法、系统及设备

权利要求书

1.一种多模态自动提取交通场景信息的方法，其特征在于，包括以下步骤：

步骤1：获取交通场景的监控视频，抓取与该交通场景相关的新闻图片和文字，及当前的天气信息；

步骤2：从监控视频中每隔预定时间截取一帧I_i，按时间顺序存储为视频帧序列集合，将视频帧和抓取的新闻图片提取图像特征，得到特征向量v_i，由一个视觉编码器处理该特征向量序列，其中，首先处理特征向量序列v得到每一个视频帧以及新闻图片的特征表示h_i，进而获取视觉编码器的最终输出h，h是h_i序列经过合并，随后乘以一个权重矩阵而得出的向量，它包含视觉特征；

步骤3：将抓取的新闻文字和天气信息合并后得到文本向量序列e＝e₁，e₂，...，e_L，其中e_i表示一个词，随后采用词嵌入将文本序列转换为词向量表示，由一个文本编码器处理该向量序列，其中，首先处理文本向量序列e获取价值信息，再联合步骤2中视觉编码器的输出h，得到文本中每个词的特征表示g_i，进而获取文本编码器的最终输出g，g是g_i序列经过合并，随后乘以一个权重矩阵而得出的向量，它包含文本特征；

步骤4：生成交通场景信息文本。

2.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤2中，使用卷积神经网络提取图像特征。

3.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤2中，使用图像注意力组件处理特征向量序列v。

4.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤3中，使用文本注意力组件处理文本向量序列e。

5.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤3中，利用图像-文本联合注意力组件，得到文本中每个词的特征表示g_i。

6.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤4中，使用交通场景信息解码器生成交通场景信息文本。

7.根据权利要求1所述的多模态自动提取交通场景信息的方法，其特征在于：步骤4中的具体实现包括以下子步骤：

步骤4.1：确定需要生成的句子每一个位置对应的词；

通过公式1和公式2求得前0到i-1位置的词的概率，即p(y₀，...，y_i-1，h，g)；

s_i＝Transformer(y_i，y，h，g)； (1)

p(y₀，...，y_i-1，h，g)＝Softmax(Ws_i)； (2)

其中，y_i∈y，y为目标文本，h是视觉特征，g是文本特征，Transformer()表示交通场景信息解码器；Softmax()表示Softmax激活函数，W表示的是交通场景信息解码器末尾的一个全连接神经网络层的权重，Ws_i表示在全连接层中权重W和s_i作矩阵乘法；

获取从0到位置i各个可能句子对应的概率大小，即p(y₀，...，y_i|h，g)；

其中，w_i表示生成的第i个位置的单词的概率分布，0≤i≤T；

步骤5.2：取p(y₀，...，y_i|h，g)中概率最高的项，然后对应到词典，获取各个位置的单词，得到最终的生成句子；

其中，词典的生成方法是对所有的已有的文本进行分词，为每个词编号，得到词-编号集合。