[发明专利]一种面向各类应用的软件机器人系统及其工作方法

权利要求书

1.一种面向各类应用的软件机器人系统，其特征在于，该系统包括软件环境模块、软件机器人模块和人机交互模块，

软件环境模块用于根据软件下发的软件配置文件，构造软件模型，并将软件模型均输入到软件机器人模块和人机交互模块；

人机交互模块用于识别用户的指令，并将用户的指令转化为软件模型中的目标状态，并将目标状态传递给软件机器人模块；

软件机器人模块通过训练好的深度强化学习算法得到从当前状态到目标状态的最优操作序列，然后将最优操作序列返回给人机交互模块，并且将最优操作序列保存到知识库中；人机交互模块再根据软件机器人模块返回最优操作序列对软件进行操作，以完成目标指令，并将操作完成后的软件状态返回给用户；

所述的系统的工作方法包括步骤：

(1)根据软件下发的配置文件，软件环境模块构造软件模型,并将构造的软件模型输入到软件机器人模块和人机交互模块；

(2)人机交互模块识别用户的指令，并将用户的指令转化为软件模型中的一个目标状态，并将目标状态传递给软件机器人模块；具体步骤包括：

2-1、将用户的指令输入到人机交互模块中；

2-2、使用训练好的自然语言处理模型将用户的指令转换为软件模型中的目标状态，目标状态为操作序列的目标状态；步骤2-2中，所述自然语言处理模型为词向量余弦算法，具体的操作为：

对于用户的指令和软件模型中的目标状态，用户的指令和目标状态都是一个句子，对用户的指令和目标状态进行下列操作：

1)使用已有的语料库对用户的指令和软件模型中的一个目标状态进行分词；

2)将用户的指令和一个目标状态的所有分词构成一个词集合，词集合大小为N；

3)使用0到N-1对词集合中的每个分词进行编码；

4)用户的指令和目标状态分别构建维数为N的词向量，词向量的每一维度的数值表示当前句子中与词集合中维度相同的词的频度；

5)计算用户的指令和目标状态的相似度similarity，公式如下：

式(I)中，A为用户的指令的向量表示，B为目标状态的向量表示，A_i为用户的指令的向量表示的第i个元素,B_i为目标状态的向量表示的第i个元素；

6)重复步骤1)-5)，计算输入用户的指令与每个目标状态的相似度，选择对应的相似度最大的目标状态作为与用户的指令匹配的目标状态；

2-3、将目标状态传递给软件机器人模块；

(3)在软件机器人模块中，将软件模型的当前状态及目标状态输入到训练好的深度强化学习算法模型中得到最优操作序列；将最优操作序列传递给人机交互模块，并且将最优操作序列保存到知识库中；具体步骤包括：

3-1、软件机器人模块从人机交互模块得到软件模型的目标状态；

3-2、查询知识库中是否存在从当前状态到目标状态的最优操作序列：

若不存在，转步骤3-3；

若存在，则提取最优操作序列，并转步骤3-7；

3-3、初始化从当前状态到目标状态的最优操作序列O为空；

3-4、将软件模型的当前状态S*及目标状态S_d输入到训练好的深度强化学习算法模型中，得到下一动作a，即目标Q值y_j最大对应的动作将动作a加入最优操作序列O；

3-5、当前状态执行动作a得到新的当前状态S**，判定S**是否和目标状态S_d相同，若相同，得到最优操作序列O，转步骤3-6；若不相同，将新的当前状态S**赋值给S*，转步骤3-4；

3-6、将得到的最优操作序列保存到知识库；

3-7、将最优操作序列的传递给人机交互模块；

(4)人机交互模块根据软件机器人模块返回的最优操作序列对软件进行操作，以完成目标指令，并将操作完成后的软件状态返回给用户。