[发明专利]一种基于多任务学习的云服务发现方法

权利要求书

1.一种基于多任务学习的云服务发现方法，其特征在于，包括如下步骤：

S100：将服务请求者查询活动定义为会话每一个会话S_m由服务请求者在一定时间内按顺序提交给搜索引擎的一系列查询Q_m＝{q_m，1，q_m，2，...，q_m，n}，每个查询q_m，i由对应的一组候选服务描述文档列表D＝{d_m，1，d_m，2，...，d_m，k}组成，服务请求者的当前会话S_M表示为服务请求者的短期查询历史以前的会话{S₁，S₂，...，S_M-1}表示服务请求者的长期查询历史

S200：构建PDAML模型，所述PDAML模型由ad-hoc模块和个性化模块构成；

S210：所述ad-hoc模块包括服务描述文档检索模块，所述服务描述文档检索模块包括六层：

第一层，字符嵌入层：字符嵌入层使用字符级卷积神经网络CNN将组成每个单词的所有字符映射到一个向量空间；

对于服务请求者的查询q和其候选服务描述文档d，假设分别由J和T个单词组成，表示为和组成每个单词的所有字符分别字符级卷积神经网络CNN转化为字符向量，再将嵌入的字符向量作为卷积神经网络1D卷积的输入，结果经过最大池化max-pooling处理后为每个单词获得固定大小的向量表示其中d_c是卷积核的数量；

第二层，词嵌入层：使用预训练的单词向量GloVe将每个单词映射成固定大小的向量；

查询的单词向量和服务描述文档的单词向量分别表示为其中d_w表示单词嵌入维度；

字符嵌入和词嵌入完成后，将它们的连接送入一个两层的高速公路网络分别得到表示查询的查询矩阵和表示服务描述文档的矩阵其中，d_g是高速公路网络的输出维度大小；

第三层，上下文嵌入层：采用一个双向的循环神经网络Bi-RNN对所述查询矩阵Q和服务描述文档矩阵D进行上下文编码；

将高速公路网络的输出查询矩阵Q和服务描述文档矩阵D作为Bi-RNN的输入，参见公式(2)，它将感知上下文信息，得到查询的上下文向量和服务描述文档的上下文向量

h_t＝f(x_t，h_t-1) (2)

其中，x_t为f(·)的输入(Q_j或者D_t)，h₀被初始化为零向量，在我们的模型中，f(·)选择为LSTM；

第四层，双向注意力层：计算查询和服务描述文档的相似度矩阵S∈R^T×J，参见公式(3)：

其中，Q_1，j表示Q₁的第j列向量，D_1，t表示D₁的第t列向量，这表明第j个查询中的单词和第t个服务描述文档中的单词之间的相似性，是可学习的参数，⊙运算符表示元素点乘，[；]运算符表示向量连接操作；

计算候选服务描述文档对查询方向的注意力，a_t∈R^J表示候选服务描述文档中的第t个单词对查询中的单词的注意力权重，根据注意权重为查询生成服务描述文档对查询方向的注意向量具体地：

a_t＝softmax(S_t：)∈R^J (4)

表示候选服务描述文档对查询方向的注意向量

计算查询对候选服务描述文档方向的注意力，使b∈R^T表示查询对候选服务描述文档中的单词的注意权重，根据注意权重为候选服务描述文档生成关注查询的注意向量，这个向量表示候选服务描述文档中与查询中相关的最重要单词的加权和，具体地：

b＝sofmaxt(max_j(S))∈R^T (6)

将扩展T次即可得到候选服务描述文档对查询的注意力向量

最后将候选服务描述文档对查询方向的注意力和查询对候选服务描述文档方向的注意力结合计算得到每个候选服务描述文档中单词的查询感知表示；

将查询的上下文向量Q₁，服务描述文档的上下文向量D₁，服务描述文档对查询方向的注意向量和候选服务描述文档对查询的注意力向量结合起来生成G：

第五层，建模层：采用单层的LSTM，将G映射到输出传递到最后的检索层；

第六层，检索层：通过使用内部注意机制将建模层的输出映射到服务描述文档的排名分数，内部注意机制为候选服务描述文档和查询中的重点单词分配更大的权重，具体地：

M′＝tanh(W^MM+b′) (9)

β＝softmax(W^tM′) (10)

其中，W^M，W^t是可学习的参数，b′是偏置向量，β是注意力权重，所以，是查询和候选服务描述文档的所有信息的总结；

通过一个简单的线性变换计算当前查询对应的候选服务描述文档的排名得分：

其中，是权重矩阵。

S220：所述个性化模块的结构为：

将服务请求者当前会话的所有查询与所点击的服务描述文档的连接送入LSTM中学习服务请求者短期偏好，将服务请求者以前会话的所有查询和点击服务描述文档的连接送入LSTM学习长期偏好；

采用注意力机制为长期偏好和短期偏好分配关注权重，获得服务请求者的长期兴趣向量和短期兴趣向量，然后计算服务请求者当前查询对应的候选服务描述文档的个性化排名得分；

S230：训练PDAML模型：采用LambdaRank算法对ad-hoc模块进行成对训练，每对是标注好的一个正样本和一个负样本；

当损失函数的值不再下降时，则认为PDAML模型已经训练好，否则对ad-hoc模块中的参数进行更新，并返回S210，继续训练；

S300：对于一个服务请求者的当前查询，将ad-hoc模块计算的当前查询对应的候选服务描述文档得分的和当前查询对应的候选服务描述文档的个性化排名得分送入一个MLP层中得到最终的排名得分，按照最终排名得分的由高到低的顺序进行待候选服务描述文档推荐。