[发明专利]一种基于因式分解机进行棋牌游戏行为克隆的方法

说明书

一种基于因式分解机进行棋牌游戏行为克隆的方法，选择离散输入特征作为输入，离散输入特征通过神经元是否激活的二元状态进行表示；训练因式分解机模型，通过更改模型并重新计算损失函数进行排序选取m组输入特征对进行组合，得到新增加的m个输入特征，重复直至神经元数量大于设定的值，并将最终组合后的输入特征连接一个模型重新训练。本发明利用因式分解机进行训练获取神经元之间关联对结果影响的强弱决定构建神经网络时的连接结构，实现在全连接层之前提取出合适的特征组合，不仅保留了普通的人工神经网络计算方便的特性、可以处理多输入特征的组合，还着重关注输入特征的重要组合，从而能够很好地进行棋牌游戏行为克隆。

技术领域

本发明属于人工智能、神经网络技术领域，特别涉及一种基于因式分解机进行棋牌游戏行为克隆的方法。

背景技术

业界对游戏AI的两个主要需求是高胜率和拟人化，其中拟人化的主要做法之一是行为克隆。

行为克隆的常见做法是使用一个深度神经网络进行策略梯度下降来最小化误差，这种方法具备一定的通用性，但是并未针对棋牌类游戏的特性做出良好的适配。对于棋牌类游戏而言，场上的局势可以被表示为离散的输入特征，人类决策时关注的往往是对离散输入特征的少量组合，而深度神经网络对离散输入特征的少量组合缺乏关注。常见的着重于输入特征的少量组合的做法是通过L1正则化将部分参数置零，但这样得到的模型稀疏性仍然不理想，导致了仍然大量关注不重要的组合。因此，自动生成神经网络中所需的稀疏的神经元连接是有必要的。

目前的自动生成神经网络中神经元连接的方法主要来自于生物学的研究，如基于赫布规则的神经网络结构生成算法等。但这类仿生方法生成的神经网络中所使用的神经元的电位需要随时间变化，不便于计算。

相比于神经网络方法，因式分解机方法需要的参数量小，但默认只能处理输入特征的两两交叉，不能很好地支持多输入特征组合的复杂情况。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种基于因式分解机进行棋牌游戏行为克隆的方法，利用因式分解机进行训练获取神经元之间关联对结果影响的强弱决定构建神经网络时的连接结构，实现在全连接层之前提取出合适的特征组合，不仅保留了普通的人工神经网络计算方便的特性、可以处理多输入特征的组合，还着重关注输入特征的重要组合，从而能够很好地进行棋牌游戏行为克隆。

为了实现上述目的，本发明采用的技术方案是：

一种基于因式分解机进行棋牌游戏行为克隆的方法，包括如下步骤：

步骤1，选择离散输入特征作为输入，所述离散输入特征通过神经元是否激活的二元状态进行表示；其中，离散输入特征指取值为真假的输入特征或者表示类别的输入特征，输入特征指在棋牌游戏中，AI需要做决策时能够获取到的数据特征；对于每个取值为真假的输入特征，使用一个神经元进行表示，当输入特征取值为真时，用于表示该输入特征的神经元激活，计算时可用数字1表示，当输入特征取值为假时，用于表示该输入特征的神经元不激活，计算时可用数字0表示；对于每个表示类别的输入特征，更改为c个取值为真假的输入特征，分别表示是否输入c个类别的输入特征，其中c表示输入特征的类别数；

步骤2，训练因式分解机模型，通过更改模型并重新计算损失函数进行排序选取m组输入特征对进行组合，得到新增加的m个输入特征，该m个输入特征仍然各使用一个神经元进行表示，当其取值为真时，用于表示该输入特征的神经元激活，计算时可用数字1表示，当其取值为假时，用于表示该输入特征的神经元不激活，计算时可用数字0表示，其中m是一个超参数，根据具体的棋牌游戏特性进行调节；

步骤3，重复进行步骤2，直至神经元数量大于设定的值l，其中l是一个超参数，根据具体的棋牌游戏特性进行调节；

步骤4，将最终组合后的输入特征连接一个模型重新训练。

与现有技术相比，本发明的有益效果是：