[发明专利]一种基于混合交通流模型的智能汽车在环仿真测试方法

权利要求书

1.一种基于混合交通流模型的智能汽车在环仿真测试方法，基于生成对抗模仿学习和组合用例测试生成方法，能够测试智能汽车在混合交通流中的跟驰行为和变道行为，使用一种车辆硬件在环模拟测试设备，包括电脑和工控机；电脑用于运行场景模型软件prescan和生成混合交通流模型软件matlab，工控机用于运行车辆动力学模型及其控制算法，并对场景参数进行实时更新；其特征在于，本方法包括以下步骤：

步骤一、构建车辆运动模型：

定义马尔科夫链决策过程五元组结构{S,A,P_sa,γ,R}，其中S为状态空间，包括自身车速v_t、自身车辆与前车的距离d、自身车辆与前车的相对速度Δv、自身车辆中轴线与左车道线横向偏移量l_L、车辆中轴线与右车道线横向偏移量l_R以及自然坐标系下的航向角α_head；A为动作空间，包括驾驶人控制车辆纵向加速度值a_lon、车辆横向加速度值a_lat以及驾驶人控制方向盘转角α_t；P_sa表示在第i时刻的状态空间S_i下采取动作A_i、状态转移到S_i+1状态的概率；γ表示决策过程中的阻尼系数，取γ＝0.99；R表示在该状态下的一个奖励，由该状态空间S和该状态空间采取的动作空间A共同决定，即R(S,A)；

建立车辆交通流运动学模型：

v(t+1)＝v(t)+a(t)dt

Δv(t+1)＝v_head(t+1)-v(t+1)

其中，v表示本车速度，a表示本车加速度，v_head表示前车速度，为已知量，从提取的跟车数据中输入，d表示本车与前车车距；时间步长dt设为0.1s；

步骤二，建立车辆智能体生成网络模型G：

生成网络模型用于车辆智能体与跟车环境进行交互，产生生成状态动作的组合；采用Actor-Critic网络算法，将车辆看作智能体做出决策；其中Actor网络根据值函数的估计结果对策略进行改进，以得到或接近系统的最优控制策略，Critic网络通过对值函数的估计对当前策略进行评价；

基于步骤一中的交通流运动学模型，利用ppo1算法建立混合交通流决策控制策略；交通流决策交通流决策由状态空间S决定；

设车辆智能体生成网络模型G的优化参数为θ，定义损失函数L(θ)，能够同时结合策略代理和价值函数的损失，并且通过增加信息熵来进行优化，具体表达式为：

其中为求期望运算，s_t为t时刻的状态具体值，S[π_θ](s_t)为t时刻的状态具体值s_t对应的策略π_θ的信息熵增，c₁,c₂均为相关系数，取c₁＝0.5,c₂＝0.01；

其中ε为常数，取ε＝0.2，为Actor-Critic网络所输出的旧的策略，π_θ(a_t|s_t)为Actor-Critic网络所输出的新的策略，策略从学习集中进行选择；

其中V_θ(s_t)为t时刻的状态具体值s_t的值函数；

裁剪函数可用于避免新旧策略差别过大：

优势函数如下式所示：

表示应该增加采取当前动作的可能性，表示应该减小采取当前动作的可能性；利用优势函数对样本轨迹中的动作值函数相比于当前状态的值函数进行评价；

步骤三，建立判别网络模型D；

判别网络模型D由包含两个隐藏层的神经网络构成，该网络输入为状态动作组合样本(s_i,a_i)，s_i为第i时刻的样本状态具体值，a_i为第i时刻的样本对应的动作具体值；

设判别网络模型D的优化参数为ω，采用交叉熵损失函数L(ω)，对判别网络模型D的优化参数ω进行梯度更新；

其中，N为样本个数，y_i为第i时刻的样本的标记，(s_i,a_i)为第i时刻的训练样本，D_ω(s_i,a_i)为参数为ω的判别网络在输入为第i时刻的样本时的输出结果；

判别网络同时为跟车环境提供奖励信号，智能体在状态s_t下采取动作a_t的奖励函数R(s_t,a_t)为：

R(s_t,a_t)＝-log(D_ω(s_t,a_t))

步骤四，生成交通流模型：

初始化车辆智能体生成网络模型G和判别网络模型D的网络参数分别为θ₀和ω₀；

设在t_i时刻，智能体执行Actor-Critic网络参数为θ_i时输出的策略与跟车环境进行交互，产生生成状态动作组合；将生成状态动作组合与实际状态动作组合输入判别网络模型D，根据L(ω)更新判别网络参数ω_i到ω_i+1；

采用更新后的判别网络模型D及r(s_t,a_t)为跟车环境提供奖励信号，利用L(θ)更新Actor-Critic网络参数θ_i至θ_i+1；

当模型相邻两次参数更新时的误差差值绝对值小于某一预定值时则结束循环；

通过训练，混合交通流模型在t_n时刻结束循环，混合交通流模型输出变量矩阵其中表示混合交通流模型t_n时刻输出的本车方向盘转角的时间变量，表示混合交通流模型t_n时刻输出的本车纵向加速度的时间变量，表示混合交通流模型t_n时刻输出的本车横向加速度的时间变量；

步骤五，建立虚拟交通场景：

根据智能汽车的使用场景和功能需求，在工控机中搭设对应的虚拟交通场景，包括本车速度v_t、车道数量m、智能车辆渗透率p、行车流量q构成交通场景要素；

其中本车速度v_t覆盖了低速、中速和高速三类车速，为保证测试效率，以2km/h的步长进行分散，低速v_t1＝22～40km/h、中速v_t2＝42～60km/h、高速v_t3＝62～80km/h，即本车速度参取值集合v_t＝{v_t1,v_t2,v_t3}；车道数量m指汽车行驶道路上用实线划分的车道，将车道数量分为双向两车道m₁、双向四车道m₂和双向六车道m₃三种情况，即车道数量参数取值集合m＝{m₁,m₂,m₃}；智能车辆渗透率p表示在单位时间内通过路段的车辆中智能车辆数量的占总车辆数量的比例，将智能车辆渗透率分为p₁＝10％、p₂＝25％、p₃＝50％、p₄＝75％，即智能车辆渗透率参数取值集合p＝{p₁,p₂,p₃,p₄}；行车流量q表示在一定的时间段内通过道路某一断面的车辆实体数，单位为veh/h，表示每小时通过某一路段的车辆的数量，将行车流量q分为q₁＝500veh/h、q₂＝800veh/h、q₃＝1100veh/h、q₄＝1500veh/h，即行车流量参数取值集合q＝{q₁,q₂,q₃,q₄}；

根据本车速度v_t、车道数量m、行车流量q、智能车辆渗透率p确定混合交通流交通场景要素，并将步骤四中生成的混合交通流模型与虚拟场景通过matlab/simulink连接，即在matlab/simulink中设置场景中车辆的动力学模型、车辆纵向控制算法和车辆横向控制算法，使混合交通流模型在虚拟交通场景中运行，根据虚拟场景传感器接收参数，根据步骤四中混合交通流模型输出变量矩阵生成本车行为参数；

步骤六、设计测试用例参数：

在交通场景要素参数的选择方面，本方法采用基于贪心算法的组合测试用例生成方法，选取组合的混合交通流交通场景要素；

选取本车速度、行车流量、车道数量、智能车辆渗透率四种混合交通流交通场景要素，设混合交通流交通场景要素集合E＝{e₁,e₂,e₃,e₄}，其中e₁＝v_t、e₂＝q、e₃＝m、e₄＝p，每一类混合交通流交通场景要素在有限的离散点集中取值；由每一类混合交通流交通场景要素的各自取值所组成的四元组称为组合测试中的一条测试用例；

将参数进行组合，生成组合测试用例：

选取测试强度k＝2，Tu表示未被覆盖的k组合集，即k个因素不同取值对测试对象产生影响的所有测试用例集合，Tc表示目标测试用例集，通过贪心算法得到的满足要求的组合测试用例的集合，混合交通流交通场景要素的所有可能取值的组合至少被一个测试用例覆盖；

基于贪心算法的组合测试用例生成方法，即寻找各个混合交通流交通场景要素的局部最优解，具体过程为：

a)选定第1个混合交通流交通场景要素e₁，将其在Tu中出现次数最多的值赋给该参数；

b)选定第2个混合交通流交通场景要素e₂，将其在Tu中出现次数最多的值赋给该参数；

c)选定第3个混合交通流交通场景要素e₃，将其在Tu中出现次数最多的值赋给该参数；

d)选定第4个混合交通流交通场景要素e₄，将其在Tu中出现次数最多的值赋给该参数；

e)e₁,e₂,e₃,e₄均被确定取值时为一条测试用例，将其放入测试用例集Tc中，并去掉测试用例集合Tu对应的组合对；

f)当测试用例集合Tu不为空集时，转至步骤a)；当测试用例集合Tu为空集时，每一个交通场景要素取值均被组合并添加到测试用例集中，结束贪心算法；

由上述算法可得测试强度为2的测试用例集Tc如下表2所示：

表2

t]]>	q	m	p
t1]]>	2]]>	3]]>	2]]>
t2]]>	3]]>	1]]>	2]]>
t3]]>	1]]>	2]]>	2]]>
t1]]>	3]]>	2]]>	3]]>
t2]]>	1]]>	3]]>	3]]>
t3]]>	2]]>	1]]>	3]]>
t1]]>	1]]>	1]]>	1]]>
t2]]>	2]]>	2]]>	1]]>
t3]]>	3]]>	3]]>	1]]>

步骤七、进行仿真测试：

根据步骤四中所述交通流模型，生成该交通模型处于所述交通场景中的行为模式，然后将被测试智能汽车的硬件与此模型进行通信，即模拟将被测试车辆置于混合交通流所在的交通场景中行驶，并以此仿真测试作为后续步骤的获取测试数据与分析的基础；

工控机中运行混合交通流场景模型，利用选取的测试用例集Tc中的测试用例确定混合交通流交通场景要素；车辆传感器通过感知虚拟场景获取信息，通过CAN发送给工控机中的控制算法，结合车辆动力学模型，判断此时车辆状态与所处环境状态，给予车辆决策信号；交通流模型也会根据车辆动作进行实时更新，输出下一时刻输出矩阵至此完成闭环测试；

步骤八、获取测试数据并分析：

通过工控机中设置的传感器对不同智能车辆渗透率下的混合交通系统人-车-环境多维度信息进行全方位采集，包括车辆位置坐标、实时速度、航向角、道路车流密度、交通流中各种车辆比例；

本方法通过安全性、实时性和稳定性三个方面评价无人驾驶车辆在交通流中的行为；

具体评价指标分为：

(1)安全性方面

被测试车辆安全性的评价指标为追尾预测因子γ与距离安全系数τ，通过对两个要素大小的判定可以确定被测试车辆是否安全的完成跟驰前车与变道动作，进而对被测试车辆在交通流中的安全性进行合理的评价；具体公式如下：

a.追尾预测因子γ：

其中v_head为前车速度，j_max为车辆最大减速度，为两车之间相对车距；γ＞1，则跟驰车辆发生追尾，0＜γ＜1，则跟驰车辆较为安全；

b.距离安全系数τ：

其中表示t_n时刻的车辆方向盘转角，即混合交通流模型t_n时刻输出的本车方向盘转角的时间变量，d₁表示车辆与前车之间的距离，d₂表示车辆与后车之间的距离；随着τ降低，变道的安全程度逐渐降低；

(2)实时性方面

被测试车辆实时性的评价指标为实时性评价参数σ与变道时间系数ρ，通过对两个要素大小的判定可以确定车辆纵向与横向两方面控制实时性的优劣，进而可以评价被测试车辆在交通流中的实时性，其中横向控制实时性优劣体现为车辆变道时间；具体公式如下：

a.实时性评价参数σ：

式中a_lon为车辆纵向加速度，a_lon,head为前车纵向加速度，σ越小，车辆纵向控制实时性越好；

b.变道时间系数ρ：

式中表示车辆变道过程中的平均车速，ρ越小，表示车辆变道时间效率越好；

(3)稳定性方面

被测试车辆稳定性的评价指标为跟驰状态因子与稳定状态指标μ，通过对两个要素大小的判定可以确定被测试车辆在跟驰时交通流的稳定性与车辆发生变道后对交通流稳定性的影响程度，进而对被测试车辆在交通流中的稳定性进行评价；具体公式如下：

a.跟驰状态因子

式中，T表示速度状态改变的时间，d表示车辆与后车之间的相对车距，越大，交通流的稳定性越好；

b.稳定状态指标μ：

式中，v₀表示车辆初始速度，t₀表示变道车辆发生变道行为开始到交通流重新稳定的总时间；μ越大，表示车辆发生变道行为后对交通流稳定程度影响越大。