[发明专利]向量获取方法、装置、电子设备以及计算机可读存储介质

权利要求书

1.一种向量获取方法，其特征在于，应用于斯帕克Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述方法包括：

获取初始向量，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量是通过所述Spark架构的广播变量获取的；

根据初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。

2.根据权利要求1所述的方法，其特征在于，所述根据初始数据，对所述初始向量进行训练，包括：

根据所述初始数据，对所述初始向量进行训练，得到第一训练向量；

若所述第一训练向量的损失函数值不小于预设函数阈值，根据所述初始数据对所述第一训练向量进行训练，得到第二训练向量，直至训练得到的目标特征训练向量的损失函数值小于所述预设函数阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据初始数据，对所述初始向量进行训练，包括：

根据SPO三元组正样本，生成SPO三元组负样本；

根据所述SPO三元组正样本和所述SPO三元组负样本，对所述初始向量进行训练。

4.根据权利要求3所述的方法，其特征在于，所述根据所述SPO三元组正样本和所述SPO三元组负样本，对所述初始向量进行训练之前，还包括：

通过RDD外连接的方式，对所述SPO三元组负样本中的非法负样本进行过滤，得到合法负样本；

所述根据所述SPO三元组正样本和所述SPO三元组负样本，对所述初始向量进行训练，包括：

根据所述SPO三元组正样本和所述合法负样本，对所述初始向量进行训练。

5.根据权利要求2所述的方法，其特征在于，所述根据初始数据，对所述初始向量进行训练，包括：

对所述第一训练向量进行归一化，得到归一化第一训练向量；

根据所述初始数据对所述归一化第一训练向量进行训练。

6.根据权利要求1至5任一所述的方法，其特征在于，在所述根据初始数据，对所述初始向量进行训练之后，还包括：

将所述目标特征训练向量包括的主语实体名、宾语实体名和关系名的数据类型，由整型转换为字符串型，得到转换后的目标特征训练向量。

7.根据权利要求1至5任一所述的方法，其特征在于，所述特征主语向量的格式类型为面向分析型业务的列式存储Parquet格式，所述特征宾语向量和所述特征关系向量的格式类型为文本格式。

8.一种向量获取装置，其特征在于，应用于斯帕克Spark架构中的计算节点，所述Spark架构包括：服务器、管理节点、工作节点和所述计算节点，所述管理节点分别与所述服务器和所述工作节点连接，所述工作节点包括至少一个计算节点；所述装置包括：

获取模块，用于获取初始向量，所述初始向量包括初始主语向量、初始宾语向量和初始关系向量，所述初始主语向量的数目与所述初始宾语向量的数目之间的差值大于预设数目阈值，其中，所述初始主语向量存储于弹性分布式数据集RDD，所述初始宾语向量、所述初始关系向量是通过所述Spark架构的广播变量获取的；

训练模块，用于根据初始数据，对所述初始向量进行训练，得到目标特征训练向量，所述初始数据包括多个主谓宾SPO三元组，所述目标特征训练向量包括：特征主语向量、特征宾语向量和特征关系向量。