[发明专利]一种基于相机单元阵列的混合智能研究系统及控制方法

权利要求书

1.一种基于混合智能研究系统的动物机器人控制方法，其特征在于，

所述混合智能研究系统，包括：

动物机器人及其实验场景；

若干阵列排布的图像采集单元，用于实时采集具有动物机器人实验场景的图像；

图像处理器，将所述图像拼接，获得全局图像，将仅包含动物机器人的前景图像从所述全局图像中分割出来，从所述前景图像中提取动物机器人的形态学特征；

刺激指令生成及输出单元，依据动物机器人当前的行为状态，利用预训练模型生成刺激指令，所述预训练模型利用深度强化学习算法一步完成；

负载在动物机器人上的微型无线电子背包，接收所述刺激指令，对动物机器人进行微电刺激；

所述图像采集单元为相机，利用相机单元的无限扩展性，实时采集大范围实验场景中动物机器人行为信息；

所述图像处理器包括：

图像矫正模块，对采集的原始图像进行矫正和拉直；

图像拼接模块，对矫正后的图像按物理排列顺序进行拼接及边缘融合，得到全局图像；

图像分割模块，对全局图像进行前/后景分割，获得仅包含动物机器人的前景图像；

特征提取模块，包括静态特征提取模块和动态特征提取模块，所述静态特征包括动物机器人的轮廓、面积、骨架线、重心坐标、面部朝向；所述动态特征包括运动速度、转动速度、头部角速度；

所述刺激指令生成及输出单元包括：

特征识别模块，对提取的形态学特征进行识别，判断动物机器人当前的行为状态；

指令生成模块，以行为状态进行输入，通过预训练模型算出刺激指令，并输出；

指令转换模块，根据刺激指令生成相应的刺激参数；

指令传输模块，通过无线通信方式，将刺激参数发送到微型无线电子背包；

所述特征识别模块和指令生成模块利用深度强化学习算法一步完成；

所述控制方法包括以下步骤：

(1)利用若干阵列排布的图像采集单元，实时采集具有动物机器人实验场景的图像；

(2)对采集的原始图像进行矫正、拼接获得全局图像，再将仅包含动物机器人的前景图像从所述全局图像中分割出来，从所述前景图像中提取动物机器人的形态学特征；所述形态学特征包括静态特征和动态特征，所述静态特征包括动物机器人的轮廓、面积、骨架线、重心坐标、面部朝向；所述动态特征包括运动速度、转动速度、头部角速度；

(3)对提取的形态学特征进行识别，判断动物机器人当前的行为状态，通过预训练模型计算并输出刺激指令；

(4)负载在动物机器人上的微型无线电子背包接收所述刺激指令，对动物机器人进行微电刺激；

步骤(2)中，所述矫正，包括：

(a)利用相机矫正算法，获得各个图像采集单元的矫正参数；

(b)利用矫正参数对采集的原始图像进行矫正和重映射，获得矫正图像；

重映射的插值算法为双线性插值算法；

所述拼接，包括：

(ⅰ)利用SIFT特征提取方法提取矫正图像的特征点，计算相邻两幅矫正图像中任意两个特征点之间的欧式距离；

(ⅱ)利用RANSAC方法为所有的特征点进行两两配对，将矫正图像进行旋转平移使得配对的两个特征点重合，再针对相邻矫正图像的重叠部分进行边缘融合处理，获得全局图像；

SIFT特征提取方法中，尺度金字塔层数为5～8层，特征描述符的维度为128维；融合处理采用基于羽化融合的图像拼接算法；

将全局图像进行划区块，根据动物机器人在上一帧全局图像中所处的位置，判断所处的区块编号，在这一帧的计算中仅对该区块进行插值处理，其余区块利用上一帧缓存的背景图像进行更新；

步骤(2)中，采用自适应混合高斯背景差分方法对全局图像进行前/背景分割，得到仅包含动物机器人的二值图像；

步骤(3)中，强化学习算法交互框架为：代表算法的智能体利用环境的输入状态S及环境给出的奖励值r，训练策略π；策略指的是在算法接收到状态S，获得奖励r的情况下，对下一步做出的动作A的选择；

智能体所采用的算法为Actor-Critic，具体实施为：

a)Actor-Critic算法中的两个部分：策略π以及价值函数v，两者均采用两层全连接神经网络进行拟合，每层节点数为512；

b)算法更新策略及价值函数的过程中，采用n-step的TD-error的更新方式，n＝20；

c)算法中step的定义为，相机单元阵列采集到一帧原始图像，此图像经过处理得到行为特征，特征输入智能体，智能体输出控制指令，无线电刺激背包接收到指令并对动物机器人进行刺激这一过程。

2.如权利要求1所述的基于混合智能研究系统的动物机器人控制方法，其特征在于，所述图像采集单元以m×n矩阵形式排布，其中m、n为2～8。