[发明专利]语料处理、词向量获取方法及装置、存储介质及设备

摘要

本发明涉及一种语料处理方法及装置、词向量获取方法及装置、计算机存储介质以设备，计算端在发送训练请求以请求训练之前已将初始确定的词向量发送至存储端，在发送训练请求后进行训练过程中，无需再进行词向量的发送，也无需向存储端拉取词向量进行训练以及将在本地进行训练后的更新值传送给存储端，只需发送训练请求以请求存储端进行训练获取词向量即可，减少网络通信量。存储端收到训练请求进行训练时，只需对列向量中与训练请求中携带的编号对应的行进行训练，提高训练效率，且通过在存储端本地进行训练实现列向量更新，无需将列向量分发给计算端进行训练，也无需接收计算端进行训练后传递的更新值，减少网络通信量，提高词向量获取效率。

主权项

1.一种语料处理方法，应用于计算端，其特征在于，包括以下步骤：获取预设语料文本中的子语料文本，分析确定所述子语料文本中的词及各词的编号；基于所述子语料文本确定应用在当前计算端的词向量，所述词向量的行与词的编号对应；根据存储端与向量的列标识之间的对应关系、以及所述词向量中的各列向量的列标识，分别将与各存储端对应的列标识对应的列向量发送至各所述存储端；将所述子语料文本切分成各子训练文本；将各所述子训练文本中的一个子训练文本作为本轮子训练文本；向各所述存储端广播携带本轮子训练文本中各词的编号的训练请求；在接收到各所述存储端响应所述训练请求返回的回应信息后，将各所述子训练文本的下一个子训练文本作为本轮训练文本，返回向各所述存储端广播携带本轮子训练文本中各词的编号的训练请求的步骤，直到各所述子训练文本中各词的编号的训练请求发送完毕。