[发明专利]小鼠行为分析方法、装置及电子设备

说明书

本发明涉及动物行为分析技术领域，特别涉及一种小鼠行为分析方法、装置及电子设备，其中，方法包括：将由当前小鼠的当前行为视频数据得到的待分析行为视频数据输入至预先构建的无监督光流估计模型，输出当前小鼠的过去光流场、未来光流场和遮挡图；根据未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，划分为运动区域光流特征和非运动区域光流特征；根据预设的运动幅度和速度从运动区域光流特征获取目标特征值，对当前小鼠进行行为分析。解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差干扰了提取行为的下游分析，传统光流估计方法计算复杂的问题。

技术领域

本发明涉及动物行为分析技术领域，特别涉及一种小鼠行为分析方法、装置及电子设备。

背景技术

动物神经系统的功能是通过行为表现的，系统全面的动物行为学分析对揭示大脑功能极为重要。此外，行为分析在神经科学的基础研究与重大神经精神疾病临床研究中有着巨大的应用潜力。目前行为分析大多基于姿态估计方法，手工选取和标注关键点信息，如果用户想要跟踪多个运动对象，需要耗费大量的人力物力。动物行为中存在未知或难以定义的行为，标注少量身体部位会错过行为录像呈现的丰富的行为信息。此外，如何选取合适的特征描述动物行为成为行为分析的瓶颈。

光流估计检测物体的像素点在两帧视频帧之间的移动量，基于光流估计的特征提取的方法已经在人脸微表情识别中应用，但目前尚未推广到对啮齿动物的行为分析中。目前图像序列光流分析基于传统光流估计算法，其假设亮度恒定不变，时间连续或运动是“小运动”。实际应用场景中，这两条基本假设不容易满足，导致光流估计存在严重误差，难以找到合适阈值分割是否运动，干扰提取行为的下游分析。同时，传统光流估计方法计算过程复杂，计算速度慢，无法满足实时处理行为的要求。

发明内容

本发明提供一种小鼠行为分析方法、装置及电子设备，解决了人为选择特定特征进行小鼠行为分析导致错失丰富行为信息，实际场景中小鼠运动幅度大、亮度不恒定导致的严重误差，传统光流估计方法计算复杂，无法实时处理以及预测的非连续动作输出干扰下游任务的问题，缓解了噪声影响，提高了分割的性能，能够合理利用视频中丰富的行为信息。

本发明第一方面实施例提供一种小鼠行为分析方法，包括以下步骤：采集当前小鼠的当前行为视频数据，并对所述当前行为视频数据进行预处理，得到待分析行为视频数据；将所述待分析行为视频数据输入至预先构建的无监督光流估计模型，输出所述当前小鼠的过去光流场、未来光流场和遮挡图，其中，所述无监督光流估计模型由多个目标小鼠的待训练行为视频数据训练得到；根据所述未来光流场中水平平移分量和垂直平移分量的平方和得到运动能量值，并根据所述运动能量值将所述未来光流场划分为运动区域光流特征和非运动区域光流特征；基于预设的降维策略，根据预设的运动幅度和速度从所述运动区域光流特征获取目标特征值，并根据所述目标特征值对所述当前小鼠进行行为分析。

可选地，在将所述待分析行为视频数据输入至预先构建的所述无监督光流估计模型之前，还包括：采集目标小鼠在预设运动状态下的初始行为视频数据；对所述初始行为视频数据预处理后，基于预设的增强策略增强预处理后的所述初始行为视频数据，得到待训练行为视频数据，并根据所述待训练行为视频数据得到过去视频帧、参考视频帧和未来视频帧；将所述过去视频帧、所述参考视频帧和所述未来视频帧输入至预设的卷积神经网络，得到金字塔特征；并基于所述金字塔特征、预设的损失函数和预设的解码器构建所述无监督光流估计模型。

可选地，在得到所述金字塔特征之后，还包括：基于所述金字塔特征，将上一层光流场和遮挡变量进行多倍上采样，得到当前层的初始光流场和初始遮挡变量；通过所述初始光流场扭曲过去视频帧特征和未来视频帧特征，得到过去视频帧特征和参考视频帧特征的第一代价成本量，及未来视频帧特征和参考视频帧特征的第二代价成本量；将所述第一代价成本量和所述第二代价成本量堆叠得到目标成本量。