[发明专利]敏感词词典生成方法、装置及存储介质和电子设备

说明书

本发明提出敏感词词典生成方法、装置及存储介质和电子设备。方法包括：将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点KL散度小于预设第一阈值，则将该词加入敏感词词典库。本发明提高了敏感词词典的生成效率和覆盖率。

技术领域

本发明涉及文档处理技术领域，尤其涉及敏感词词典生成方法、装置及非瞬时计算机可读存储介质和电子设备。

背景技术

目前在电商领域，客服人员需要实时地识别用户从购物过程到售后各环节在聊天沟通的过程中是否有不满的情绪，以做到主动服务、提前安抚，最终提升用户的满意度，提高客户保有率和复购率。目前一般做法是，首先根据历史投诉人员的会话统计信息设计出表达客户情绪的威胁词表，用于识别客户威胁程度的强弱，再按照关键字匹配从分词后的聊天记录和电话录音中筛选出潜在的有投诉风险的用户。

在构建威胁词典过程中需要比较发生投诉的用户和正常用户在对话中的表达差异。

现有技术方案中大量依赖人工经验操作，效率较低且经验会随着时间推移而弱化，不支持自动迭代更新，更重要的是人工方式覆盖率有限，而且威胁信号间没有相对强弱关系。

发明内容

本发明实施例提出敏感词词典生成方法、装置及非瞬时计算机可读存储介质和电子设备，以提高敏感词词典的生成效率和覆盖率。

本发明实施例的技术方案是这样实现的：

一种敏感词词典生成方法，该方法包括：

将每个非敏感用户的每个交互文档以及每个敏感用户在距离当前时刻第一预设时长之前的每个交互文档分别作为一个负样本；

将每个敏感用户在最近第二预设时长内的每个交互文档分别作为一个正样本；

对于在正负样本集合中出现的每个词，计算该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率；

对于在正负样本集合中出现的每个词，根据该词对正样本集合的逆文档频率以及该词对负样本集合的逆文档频率，计算该词的逐点KL散度，若计算出的逐点KL散度小于预设第一阈值，则将该词加入敏感词词典库。

所述计算该词对正样本集合的逆文档频率包括：

IDF1_i＝lg(|D1|/(1+|{j:w_i∈d1_j}|))

其中，D1表示正样本集合，|D1|表示D1中包含的正样本的总数，w_i表示在正负样本集合中出现的第i个词，d1_j表示正样本集合中的第j个正样本，|{j:W_i∈d1_j}|表示包含词w_i的正样本的总数，IDF1_i表示词w_i对正样本集合的逆文档频率；

所述计算该词对负样本集合的逆文档频率包括：

IDF2_i＝lg(|D2|/(1+|{k:w_i∈d2_k}|))