[发明专利]即插即用的手语词定位精修方法、系统、设备及存储介质

权利要求书

1.一种即插即用的手语词定位精修方法，其特征在于，包括：

给定手语词查询视频与目标视频，使用手语词定位算法计算手语词查询视频每帧和目标视频每帧的余弦相似度，形成余弦相似度图，并从中取出置信度最高的区间作为初步定位结果；

将所述余弦相似度图在目标视频的维度，下采样不同倍数形成多尺度查找表；

利用循环神经网络对所述初步定位结果中的开始位置与结束位置分别进行迭代优化，当前次迭代过程中，取手语词查询视频的前一部分特征或者后一部分特征，上一次迭代得到的精修后的开始位置或结束位置邻域内的多尺度查找表特征，以及上一次迭代的循环神经网络的隐变量特征，生成当前次迭代的循环神经网络的隐变量特征，并以此获得当前次迭代的开始位置或结束位置的修正量，结合上一次迭代得到的精修后的开始位置或结束位置，获得当前次迭代次得到的精修后的开始位置或结束位置；对开始位置与结束位置分别进行多次迭代优化后，获得最终优化的开始位置与结束位置形成的优化的定位结果。

2.根据权利要求1所述的一种即插即用的手语词定位精修方法，其特征在于，使用手语词定位算法计算手语词查询视频每帧和目标视频每帧的余弦相似度，形成余弦相似度图，并从中取出置信度最高的区间作为初步定位结果包括：

计算手语词查询视频每帧和目标视频每帧的余弦相似度，得到余弦相似度图；余弦相似度计算方式如下：

其中，T_short是手语词查询视频的总帧数，T_long是目标视频帧数，F_t1表示手语词查询视频t1帧对应的特征，F_t2表示目标视频t2帧对应的特征，Sim[t1，t2]表示手语词查询视频t1帧和目标视频t2帧的余弦相似度；

使用动态规划算法，公式如下：

其中，f(.)是动态规划的状态，f(t1，t2)表示手语词查询视频从开始位置到t1帧，目标视频从开始位置到t2帧，得到余弦相似度的最大和；f(t1-1，t2-1)表示手语词查询视频从开始位置到t1-1帧，目标视频从开始位置到t2-1帧，得到余弦相似度的最大和；f(t1，t2-1)表示手语词查询视频从开始位置到t1帧，目标视频从开始位置到t2-1帧，得到余弦相似度的最大和；f(t1-1，t2)表示手语词查询视频从开始位置到t1-1帧，目标视频从开始位置到t2帧，得到余弦相似度的最大和；

枚举两个视频开始位置，选出最大的f(t1，t2)，结合最大的f(t1，t2)中t2帧确定置信度最高的区间为[目标视频开始位置：t2]，即初步定位结果中的开始位置为目标视频开始位置，结束位置为t2帧。

3.根据权利要求1所述的一种即插即用的手语词定位精修方法，其特征在于，所述将所述余弦相似度图在目标视频的维度，下采样不同倍数形成多尺度查找表包括：

将单个尺度的查找表记为L^m，其第t1行第t2列位置处的值通过下式计算：

其中，2^m为平均池化的步长，表示对余弦相似度图下采样2^m倍，m用于控制是否进行下采样以及下采样的倍数，m＝0，1，2，3...，平均池化的邻域范围也是2^m，p为枚举的邻域范围中的目标视频帧号，t2′表示下采样后目标视频的t2′帧，sim[t1，2^mt2′+p]表示表示手语词查询视频t1帧和目标视频2^mt2′+p帧的余弦相似度；

通过设置m的取值获得由若干单个尺度的查找表形成的多尺度查找表。