[发明专利]词编码方法、装置、存储介质与电子设备

说明书

本公开提供一种词编码方法、装置、存储介质与设备，涉及自然语言处理技术领域。该词编码方法包括：采用所述词袋的第一权重矩阵将所述上下文词的初始编码转换为所述上下文词的特征编码；根据所述预设领域下所述上下文词的特征，确定所述上下文词的权重，根据所述上下文词的权重对所述上下文词的特征编码进行加权，得到预测的所述上下文词的中心词的特征编码；采用所述词袋的第二权重矩阵将所述中心词的特征编码转换为所述中心词在所述词袋中的概率分布；基于所述目标词的初始编码与所述中心词在所述词袋中的概率分布，更新所述第一权重矩阵。本公开能够在一定程度上降低专业领域中的词编码难度，提高词编码的准确度。

技术领域

本公开涉及自然语言处理技术领域，尤其涉及一种词编码方法、装置、存储介质与电子设备。

背景技术

对于一些专业性较强的领域，业务文本的句意往往具有较强的领域特色，比如：通信领域中，对于业务文本“接入电路代号”、“互联网共享端口接入服务”、“游戏交互时延劣质次数”、“呼叫类型编码”、“4G销售品销售点专属属性”、“业务数据容器记录期间下行传输的流量”等，由于领域特色较强，无法用常用词典对这些业务文本中的词进行编码，导致难以理解句意。

发明内容

本公开提供一种词编码方法、词编码装置、计算机可读存储介质与电子设备，以在一定程度上降低专业领域中的词编码难度，提高词编码的准确度。

根据本公开的第一方面，提供一种词编码方法，所述方法包括：利用预设领域的词袋获取待处理语句中目标词的初始编码以及所述目标词的上下文词的初始编码；采用所述词袋的第一权重矩阵将所述上下文词的初始编码转换为所述上下文词的特征编码；根据所述预设领域下所述上下文词的特征，确定所述上下文词的权重，根据所述上下文词的权重对所述上下文词的特征编码进行加权，得到预测的所述上下文词的中心词的特征编码；采用所述词袋的第二权重矩阵将所述中心词的特征编码转换为所述中心词在所述词袋中的概率分布；基于所述目标词的初始编码与所述中心词在所述词袋中的概率分布，更新所述第一权重矩阵；所述第一权重矩阵用于对所述预设领域的词进行编码。

在一种实施方式中，所述预设领域下所述上下文词的特征，包括以下一种或多种：所述上下文词在所述预设领域中的词频；所述预设领域下所述上下文词的词性；所述上下文词与所述预设领域的主题词的关系。

在一种实施方式中，若所述预设领域下所述上下文词的特征，包括所述上下文词与所述预设领域的主题词的关系，所述根据所述预设领域下所述上下文词的特征，确定所述上下文词的权重，包括：确定所述预设领域的词袋中词的词频-逆文档频率；根据所述词袋中词的词频-逆文档频率，确定主题词；若所述上下文词是所述预设领域的主题词，则确定所述上下文词的权重为第一数值；若所述上下文词不是所述预设领域的主题词，则确定所述上下文词的权重为第二数值；所述第二数值小于所述第一数值。

在一种实施方式中，所述根据所述预设领域下所述上下文词的特征，确定所述上下文词的权重，包括：根据所述预设领域下所述上下文词的特征、以及所述上下文词与所述目标词的位置关系，确定所述上下文词的权重。

在一种实施方式中，所述根据所述预设领域下所述上下文词的特征、以及所述上下文词与所述目标词的位置关系，确定所述上下文词的权重，包括：确定所述预设领域下所述上下文词与所述目标词之间的方向，以及所述上下文词与所述目标词之间的距离；根据所述预设领域下所述上下文词的特征、所述上下文词与所述目标词之间的方向与距离，确定所述上下文词的权重。

在一种实施方式中，在利用预设领域的词袋获取待处理语句中目标词的初始编码以及所述目标词的上下文词的初始编码前，所述方法还包括：利用固定尺寸的窗口从所述待处理语句中提取所述目标词的上下文词；或者，根据所述待处理语句的长度确定动态尺寸，利用所述动态尺寸的窗口从所述待处理语句中提取所述目标词的上下文词。