[发明专利]一种基于大数据记忆存储的轻量型视频对象分割方法

权利要求书

1.一种基于大数据记忆存储的轻量型视频对象分割方法，其特征在于，所述方法包括：

给定一个带有第一帧注释掩码的测试视频，将视频首帧的图像和真实标签通过记忆编码器得到键和值映射对，所述键和值映射对用来初始化记忆库，查询帧的图像通过查询编码器得到键和值映射对；

将所述键和值映射对通过核记忆搜索器，对记忆库进行搜索，首先，计算查询帧和记忆帧之间的相似度，得到最匹配的查询位置，其次，以所述最匹配的查询位置为中心计算二维高斯核，最后，使用所述二维高斯核，再局部检索所述记忆库中的值，将检索结果作为核记忆搜索器的输出；

将所述核记忆搜索器的输出与查询帧的值拼接作为解码器的输入，并为查询帧重建掩码，得到预测掩码；

将查询帧的图像和所述预测掩码输入变化感知器以计算帧间的差异，自适应地激活对变化帧的记忆库更新，对于一个新像素特征，若与记忆库中的像素特征的相似度超过设定的阈值，则不被添加到内存中，否则，则作为一个新的特征添加到所述记忆库中；

所述使用所述二维高斯核，再局部检索所述记忆库中的值，具体为：

其中，d为键的通道数，是一个比例系数，和分别表示查询帧和记忆库中的像素特征索引，为记忆库中像素j的值，为和的特征相似度，为二维高斯核中元素，其计算方式为：

与分别表示像素的坐标位置，表示标准差，表示以为底的指数函数，为最匹配的查询位置，。

2.根据权利要求1所述的视频对象分割方法，其特征在于，所述变化感知器为：

对于给定帧图像与对象掩码，分别计算图像中每个像素的变化和对象掩码的变化，并更新整体运行变化度：

当超过阈值，激活记忆库更新。

3.根据权利要求2所述的视频对象分割方法，其特征在于，通过LFU索引来确定很少使用的旧特性，并移除相应特征，具体为：

在每次用查询帧的键和值对记忆库进行搜索时，如果相似度大于预设阈值时，则增加记忆库中相应特征的使用次数，且当检测到内存大小超过预算时，移除最低LFU索引的像素特征，直到内存大小低于预算。

4.根据权利要求1-3任一项所述的视频对象分割方法，其特征在于，所述的特征相似度，具体为：

其中，表示矩阵内积操作，为记忆库中像素j的键，为查询帧中像素i的键。

5.根据权利要求1-3任一项所述的视频对象分割方法，其特征在于，所述查询编码器和记忆编码器都是用resnet-50作为骨干网络。