[发明专利]机器学习模型的训练方法、信号控制方法和装置

权利要求书

1.一种机器学习模型的训练方法，包括：

基于参数噪声值调整初始机器学习模型的模型参数，得到更新后的初始机器学习模型，其中，所述初始机器学习模型是经由第一交通样本数据训练得到的，所述第一交通样本数据表征了路口的交通状态；

利用所述更新后的初始机器学习模型处理第二交通样本数据，得到针对交通信号灯的第一调整策略，其中，所述第二交通样本数据表征了所述路口的交通状态；

响应于基于所述第一调整策略调整所述交通信号灯的信号完成，确定针对所述路口的第一参考交通状态，所述第一参考交通状态表征了调整所述交通信号灯的信号之后路口的交通拥堵情况；以及

基于所述第一参考交通状态和所述参数噪声值，调整所述更新后的初始机器学习模型的模型参数，得到经训练的机器学习模型，其中所述经训练的机器学习模型用于调整所述交通信号灯的信号。

2.根据权利要求1所述的方法，其中，所述基于参数噪声值调整初始机器学习模型的模型参数，得到更新后的初始机器学习模型包括：

随机生成N/2组参数噪声值，N为大于1的整数；

基于数值对称方式调整所述N/2组参数噪声值，得到另一N/2组参数噪声值；以及

基于N组参数噪声值分别调整所述初始机器学习模型的模型参数，得到N个更新后的初始机器学习模型。

3.根据权利要求2所述的方法，其中，所述第一参考交通状态包括针对所述N个更新后的初始机器学习模型的N个交通拥堵数据；所述基于所述第一参考交通状态和所述参数噪声值，调整所述更新后的初始机器学习模型的模型参数，得到经训练的机器学习模型包括：

将所述N个交通拥堵数据进行排序，得到排序结果；以及

基于所述排序结果和所述N组参数噪声值，调整所述N个更新后的初始机器学习模型的模型参数，得到经训练的机器学习模型。

4.根据权利要求1所述的方法，其中，所述利用所述更新后的初始机器学习模型处理第二交通样本数据，得到针对交通信号灯的第一调整策略包括：

利用所述更新后的初始机器学习模型处理第二交通样本数据，以从至少一个分组的交通方向中确定目标分组的交通方向，其中，针对每个分组中多个交通方向的交通信号灯的第一调整策略一致；以及

确定针对所述目标分组的交通方向的交通信号灯的第一调整策略。

5.根据权利要求1所述的方法，还包括：

获取所述第一交通样本数据；

将所述第一交通样本数据输入待训练的初始机器学习模型中，得到针对所述交通信号灯的第二调整策略；以及

基于所述第二调整策略和参考调整策略，调整所述待训练的初始机器学习模型的模型参数，得到所述初始机器学习模型。

6.根据权利要求1所述的方法，还包括：

获取所述第一交通样本数据；

将所述第一交通样本数据输入待训练的初始机器学习模型中，得到针对所述交通信号灯的第二调整策略；

响应于基于所述第二调整策略调整所述交通信号灯的信号完成，确定针对所述路口的第二参考交通状态；以及

基于所述第二参考交通状态，调整所述待训练的初始机器学习模型的模型参数，得到所述初始机器学习模型。

7.根据权利要求1所述的方法，其中，所述路口包括第一路口，所述第一交通样本数据或所述第二交通样本数据包括针对第一路口的交通数据和针对第二路口的交通数据，所述第二路口与所述第一路口之间的距离满足距离条件。

8.一种信号控制方法，包括：

获取表征路口状态的目标交通数据；

利用经训练的机器学习模型处理所述目标交通数据，得到针对交通信号灯的调整策略，其中，所述经训练的机器学习模型是利用根据权利要求1-7中任意一项所述的方法训练得到的；以及

基于所述调整策略，调整所述交通信号灯的信号。