[发明专利]基于物理环境博弈的自主进化智能对话方法、系统、装置

权利要求书

1.一种基于物理环境博弈的自主进化智能对话方法，其特征在于，包括：

步骤S10，获取待处理图像及对应问题文本；

步骤S20，采用优化的对话模型生成所述待处理图像和对应问题文本的应答文本；

步骤S30，输出应答文本；

其中，所述对话模型包括图片编码模型、文本编码模型、状态编码模型、解码器；

所述图片编码模型基于预训练的卷积神经网络构建；

所述文本编码模型、状态编码模型、解码器为基于循环神经网络的语言模型；

所述文本编码模型包括问句编码器、事实编码器；

所述优化的对话模型，其优化过程还需引入判别器，对话模型与判别器交替优化直至对话模型的混合损失函数和判别器的损失函数值不再下降或低于预设值，其步骤为：

步骤M10，获取代表物理环境的图片集及所述图片集对应的对话文本，作为第一图片集和第一对话文本集；所述第一对话文本集包括第一问题文本集、第一应答文本集；

步骤M20，采用图片编码模型对所述第一图片集中每一个图片分别进行编码，生成第一图片向量，获得第一图片向量集；

步骤M30，融入第一图片向量集，利用问句编码器、事实编码器和状态编码模型将所述第一对话文本集中对话文本的所有轮次的对话编码为对应轮次的状态向量，得到第一状态向量集；

步骤M40，通过解码器将所述第一状态向量集生成对应轮次的应答语句，获得第二应答文本集；通过单层感知映射函数将所述第一状态向量集生成第二图片向量集；

步骤M50，通过判别器对第二图片向量集中所有图片向量属于物理环境向量的概率进行计算，利用所述概率以及第一应答文本集，优化对话模型，得到第一优化对话模型；

步骤M60，对第一图片向量集和第二图片向量集进行采样，生成对抗训练样本池，对判别器进行优化，得到第一优化判别器。

2.根据权利要求1所述的基于物理环境博弈的自主进化智能对话方法，其特征在于，所述图片编码模型的构建，还设置有预训练步骤，其步骤为：

步骤T10，选取包含物理环境的图片集，作为预训练图片集；

步骤T20，采用卷积神经网络模型，以所述预训练图片集中每一张图片的物体类别为标签进行预训练，预训练所得的卷积神经网络为图片编码模型。

3.根据权利要求1所述的基于物理环境博弈的自主进化智能对话方法，其特征在于，所述第一图片向量为：

I＝CNN_pre(Img)

其中，I为第一图片向量，CNN_pre为图片编码模型，Img为图片集中每一个图片。

4.根据权利要求1或3所述的基于物理环境博弈的自主进化智能对话方法，其特征在于，步骤M20中“采用图片编码模型对所述第一图片集中每一个图片分别进行编码，生成第一图片向量”，其方法为：

将所述第一图片集的每一张图片分别输入图片编码模型，输出对应图片最后一层的全连接层向量，所述向量编码了所述输入图片的各个层级的信息，获得第一图片向量集。

5.根据权利要求1所述的基于物理环境博弈的自主进化智能对话方法，其特征在于，步骤M30中“融入第一图片向量集，利用问句编码器、事实编码器和状态编码模型将所述第一对话文本集中对话文本的所有轮次的对话编码为对应轮次的状态向量”，其步骤为：

步骤M31，通过词映射的方法，将所有轮次对话文本中每个词编码为词向量，获得词向量集；

步骤M32，在t轮对话文本中，基于所述词向量集，使用问句编码器将问题文本编码成为问句向量；使用事实编码器将问题文本和应答文本联合编码成为事实向量；使用状态编码模型将所述问句向量、事实向量、所述事实向量对应的第一图片向量和t-1轮的状态向量融合编码为第t轮状态向量；1≤t≤T，T为对话总轮次数；

步骤M33，将通过步骤M32得到的各轮状态向量构建为第二状态向量集。