[发明专利]一种基于图像流的协同检测方法及装置、存储介质

权利要求书

1.一种基于图像流的协同检测方法，其特征在于，包括：

从图像流中获取目标对象的多幅样本图像；

提取所述多幅样本图像的特征，得到每幅所述样本图像的单张特有特征和所述多幅样本图像的组间共有特征；得到所述多幅样本图像的组间共有特征包括：对所述多幅样本图像分别进行卷积网络处理，得到每幅所述样本图像对应的特征数据，对各幅所述样本图像的特征数据分别进行噪声抑制得到对应的去噪数据；利用各幅所述样本图像分别对应的去噪数据参与迭代计算，将多次迭代计算的结果作为所述多幅样本图像的组间共有特征；

对所述单张特有特征和所述组间共有特征进行融合，得到每幅所述样本图像的语义检测结果。

2.如权利要求1所述的方法，其特征在于，得到每幅所述样本图像的单张特有特征包括：

对所述多幅样本图像分别进行卷积网络处理，得到每幅所述样本图像对应的特征数据；

对每幅所述样本图像对应的特征数据进行高级语义特征的抽取，得到每幅所述样本图像的单张特有特征。

3.如权利要求2所述的方法，其特征在于，所述对每幅所述样本图像对应的特征数据进行高级语义特征的抽取，得到每幅所述样本图像的单张特有特征，包括：

构建第一变换关系f₁，且满足公式

；

设定X_n为任意所述样本图像对应的特征数据，在输入至所述第一变换关系f₁后计算得到每幅所述样本图像的单张特有特征，且表示为S_n；

其中，，为尺寸是H×W×C的所述样本图像中图像特征的集合，上标H、W、C分别为所述样本图像的高度、宽度和通道数，n为所述样本图像的序号，为所述样本图像的网络权重系数向量。

4.如权利要求3所述的方法，其特征在于，

若所述去噪数据表示为

；

其中，为第一门控函数，W_d为迭代网络权重系数向量，符号表示元素对应相乘的运算；

则利用各幅所述样本图像分别对应的去噪数据参与迭代计算时的迭代过程表示为

；

其中，，；

为第二门控函数，，，ReLU为线性整流函数；G_n-1为第n-1次迭代计算后得到的共有特征，G_n为第n次迭代计算后得到的共有特征，Z_n为G_n-1表示的共有特征和X_n表示的特征数据的差值，分别为三个不同的注意力权重向量；

将N次迭代计算的结果作为所述多幅样本图像的组间共有特征；所述多幅样本图像的组间共有特征用公式表示为

；

其中，为X_n的集合，N为所述多幅样本图像的数目，为各幅所述样本图像之间的网络权重系数向量；f₂为第二变换关系且通过注意力机制构建得到。