[发明专利]一种虚拟装配坐式操作中目视动作识别方法

摘要

本发明属于体感交互领域，具体的说是一种虚拟装配中目视动作进行自动识别方法。步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系；步骤二、设立眼部活动范围，并标记目视物体；步骤三、确认双手无操作动作；步骤四、确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；步骤五、根据垂直平面视野夹角α和水平平面视野夹角β的数值，对目视动作进行识别。本发明利用Kinect V2设备采集人体躯体坐标，建立眼部中心坐标系，设立眼部活动范围，通过无操作认定之后，即可根据颈部移动位置、头部旋转求得垂直和水平面上标记物体的视野角度，最后根据度活动范围即可判定目视动作。

主权项

1.一种虚拟装配坐式操作中目视动作识别方法，其特征在于，该方法包括以下步骤：步骤一、采集骨骼和眼睛坐标，并构建眼部中心坐标系；步骤二、设立眼部活动范围，并标记目视物体；步骤三、确认双手无操作动作；步骤四、确定各目标物体在垂直和水平面上标记物体的视野角度，再通过头部旋转状况，修正视野角度；步骤五、根据垂直平面视野夹角α和水平平面视野夹角β的数值，对目视动作进行识别；所述的步骤一的具体方法如下：使用者正对Kincet V2左立，并伸直左臂，通过Kinect V2人机交互设备中的深度相机获取采集左眼坐标点A₁(x₁,y₁,z₁)，右眼坐标点A₂(x₂,y₂,z₂)，计算双眼中心坐标采集人体16个骨骼点，包括头、颈A₄(x₄,y₄,z₄)、肩中心、左拇指、右拇指、左指尖、右指尖、左手、右手、左手腕、右手腕、左肘A₅(x₅,y₅,z₅)、右肘、左肩膀A₆(x₆,y₆,z₆)、右肩膀、髋关节中心A₇(x₇,y₇,z₇)；先做左肘到髋关节中心的相对偏移坐标点A₈(x₈＝x₅‑(x₆‑x₇),y₈＝y₅‑(y₆‑y₇),z₈＝z₅‑(z₆‑z₇))，再做A₈点到双眼中心坐标A₃的相对偏移坐标点A₉(x₉＝x₈+(x₃‑x₇),y₉＝y₈+(y₃‑y₇),z₉＝z₈+(z₃‑z₇))；选取点A₃(x₃,y₃,z₃)、A₄(x₄,y₄,z₄)、A₉(x₉,y₉,z₉)，求得向量向量首先构建YOZ平面，此时法向量可得其中设B₁为(y₄‑y₃)×(z₉‑z₄)‑(z₄‑z₃)×(y₉‑y₄)，B₂为(z₄‑z₃)×(x₉‑x₄)‑(x₄‑x₃)×(z₉‑z₄)，B₃为(x₄‑x₃)×(y₉‑y₄)‑(y₄‑y₃)×(x₉‑x₄)；YOZ平面法向量即为n₁＝(B₁,B₂,B₃)，平面为B₁·(x‑x₃)+B₂·(y‑y₃)+B₃·(z‑z₃)＝0，化简可得YOZ平面B₁x+B₂y+B₃z＝B₁x₃+B₂y₃+B₃z₃＝C₁；同理，选取点A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₉(x₉,y₉,z₉)，可求得XOZ平面法向量为n₂＝(B₄,B₅,B₆)，求得XOZ平面B₄x+B₅y+B₆z＝B₄x₃+B₅y₃+B₆z₃＝C₂；同理，选取点A₁(x₁,y₁,z₁)、A₂(x₂,y₂,z₂)、A₄(x₄,y₄,z₄)，可求得XOY平面法向量为n₃＝(B₇,B₈,B₉)，求得XOY平面B₇x+B₈y+B₉z＝B₇x₃+B₈y₃+B₉z₃＝C₃；所述的步骤二的具体方法如下：在垂直平面中，视野的范围在视水平线上方60°，下方70°的范围，其中视水平线上下10°为最优视野，定为1级，视水平线下方10°～30°为次优视野，定为2级，视水平线上方10°～60°、30°～70°为一般视野区域，定为3级；在水平面中，视野范围为中心平面左右各的60°范围，其中中心平面左右7.5°为最优视野，定为1级，中心平面左右7.5°～15°为次优视野，定为2级，中心平面左右15°～30°为一般视野区域，定为3级；将所有的目视物体的体心坐标都标记出来，记为b_i(U_i,O_i,P_i)；所述的步骤三的具体方法如下：采集各骨骼点的实时数据左拇指a₁(X₁,Y₁,Z₁)、右拇指a₂(X₂,Y₂,Z₂)、左指尖a₃(X₃,Y₃,Z₃)、右指尖a₄(X₄,Y₄,Z₄)、左手a₅(X₅,Y₅,Z₅)、右手a₆(X₆,Y₆,Z₆)、左手腕a₇(X₇,Y₇,Z₇)、右手腕a₈(X₈,Y₈,Z₈)，无操作动作需同时满足以下三个要求；要求一、无抓取动作；获取左手至左拇指向量左手至左指尖向量右手至右拇指向量右手至右指尖向量夹角无抓取动作要求θ₁和θ₂均大于30°；要求二、双手不产生移动；左手腕速度V₁计算如下：设定Kincet V2每秒采集20次数据，读取任一时刻采集的坐标点a₇(X₇,Y₇,Z₇)，计算4次之前的数据点与当前数据点的距离l₁，用距离除以0.2秒即可得到左手腕速度V₁；同理可得右手腕速度V₂；当均V₁和V₂均小于3cm/s时，认为双手均不产生移动；要求三、物体体心远离双手；计算各物体体心坐标b_i(U_i,O_i,P_i)与左手a₅(X₅,Y₅,Z₅)、右手a₆(X₆,Y₆,Z₆)的距离和当l_i,2和l_i,3均大于25cm，即认为任意物体体心远离双手；三项要求同时满足，即认为开始目视动作；所述的步骤四的具体方法如下：采集实时颈部坐标a₉(X₉,Y₉,Z₉)，计算平移坐标A₁₀(x₁₀＝X₉‑x₄,y₁₀＝Y₉‑y₄,z₁₀＝Z₉‑z₄)，将双眼坐标、中心坐标及平面平移，得到左眼A₁₁(x₁₁＝x₁+x₁₀,y₁₁＝y₁+y₁₀,z₁₁＝z₁+z₁₀)、右眼A₁₂(x₁₂＝x₂+x₁₀,y₁₂＝y₂+y₁₀,z₁₂＝z₂+z₁₀)、双眼中心A₁₃(x₁₃＝x₃+x₁₀,y₁₃＝y₃+y₁₀,z₁₃＝z₃+z₁₀)、平移后YOZ平面B₁x+B₂y+B₃z＝C₁+x₁₀、平移后XOZ平面B₄x+B₅y+B₆z＝C₂+y₁₀、平移后XOY平面B₇x+B₈y+B₉z＝C₃+z₁₀；任一体心坐标b_i(U_i,O_i,P_i)，对平移后的YOZ平面再次平移距离U_i‑x₁₃，得到B₁x+B₂y+B₃z＝C₁+x₁₀+U_i‑x₁₃，取平移左眼A₁₁(x₁₁,y₁₁,z₁₁)、平移右眼A₁₂(x₁₂,y₁₂,z₁₂)，作直线L₁为联立直线L₁和B₁x+B₂y+B₃z＝C₁+x₁₀+U_i‑x₁₃即可求得交点A₁₄(x₁₄,y₁₄,z₁₄)，连接点A₁₄(x₁₄,y₁₄,z₁₄)和体心坐标b_i(U_i,O_i,P_i)，可得直线L₂的方向向量为平移后XOZ平面的法向量为n₂＝(B₄,B₅,B₆)，按照两向量夹角余弦的坐标表达式，可求得垂直平面视野夹角如果O_i大于y₁₃，记上偏，反之记下偏，角度为记为负，α＝‑α；对平移后的XOZ平面再次平移距离O_i‑y₁₃，得到B₄x+B₅y+B₆z＝C₂+y₁₀+O_i‑y₁₃，平移颈部坐标A₁₅(x₁₅＝x₄+x₁₀,y₁₅＝y₄+y₁₀,z₁₅＝z₄+z₁₀)，取平移颈部A₁₅(x₁₅,y₁₅,z₁₅)、双眼中心A₁₃(x₁₃,y₁₃,z₁₃)，作直线L₃为联立直线L₃和B₄x+B₅y+B₆z＝C₂+y₁₀+O_i‑y₁₃即可求得交点A₁₆(x₁₆,y₁₆,z₁₆)，连接点A₁₆(x₁₆,y₁₆,z₁₆)和体心坐标b_i(U_i,O_i,P_i)，可得直线L₄的方向向量为平移后YOZ平面的法向量为n₁＝(B₁,B₂,B₃)，按照两向量夹角余弦的坐标表达式，可求得水平面视野夹角如果U_i大于x₁₃，记左偏，反之记右偏，角度为记为负，β＝‑β；采集此时头部四元素q₁＝[W_q1 X_q1 Y_q1 Z_q1]^T，计算头部欧拉角为此时需要调整垂直平面视野夹角α＝α+φ₁，水平平面视野夹角所述的步骤五的具体方法如下：根据眼部活动范围，垂直平面的中线设为0度，当α∈(‑10°,10°)，定为1级；α∈(‑30°,‑10°]，定为2级；α∈[10°,60°]或α∈[‑70°,‑30°]，定为3级；其他角度不定级，但是会标记为4；水平面中，中线设为0度，当β∈(‑7.5°,7.5°)，定为1级；当β∈(‑15°,‑7.5°]∪[7.5°,15°)，定为2级；当β∈(‑30°,‑15°]∪[15°,30°)，定为3级；其他角度不定级，但是会标记为4；当双手开始操作时，同时判定垂直平面及水平面的评分等级，取两者的最高级为最终级别，如果为4，即未有标记物体进入视野范围；等级最终是3，认为模特值为2MOD；等级最终是2，认为模特值为4MOD；等级最终是1，认为模特值为6MOD。