[发明专利]一种数据处理方法、装置及设备有效
申请号: | 202210022769.8 | 申请日: | 2022-01-10 |
公开(公告)号: | CN114417883B | 公开(公告)日: | 2022-10-25 |
发明(设计)人: | 李长林;权佳成;曹磊 | 申请(专利权)人: | 马上消费金融股份有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/268;G06F40/216;G06N3/04;G06N3/08 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 张敏 |
地址: | 401120 重庆市渝北区*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 设备 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取待识别的目标文本;
基于第一敏感词集合对所述目标文本进行敏感词筛选,得到所述目标文本中包含的第一敏感词,所述第一敏感词集合中所包含的敏感词的敏感程度低于第一预设阈值;
若所述第一敏感词在预设语境下的语义唯一,则确定所述第一敏感词为所述目标文本中的目标敏感词;
若所述第一敏感词在预设语境下的语义不唯一,则基于所述目标文本、所述第一敏感词对应的第一语义特征和所述第一敏感词对应的第二语义特征,确定所述第一敏感词是否为所述目标文本中的目标敏感词。
2.根据权利要求1所述的方法,其特征在于,所述第一敏感词集合包括名词词性对应的敏感词子集合、动词词性对应的敏感词子集合和形容词词性对应的敏感词子集合中的一种或多种;
所述若所述第一敏感词在预设语境下的语义唯一,则确定所述第一敏感词为所述目标文本中的目标敏感词,包括:
若所述第一敏感词在预设语境下的语义唯一,则获取所述第一敏感词在所述目标文本中的目标词性;
基于所述目标词性,确定所述第一敏感词为所述目标词性对应的敏感词子集合中的目标敏感词。
3.根据权利要求1所述的方法,其特征在于,所述第一敏感词集合包括所述敏感词对应的第一语义特征和第二语义特征;
所述若所述第一敏感词在预设语境下的语义不唯一,则基于所述目标文本、所述第一敏感词对应的第一语义特征和所述第一敏感词对应的第二语义特征,确定所述第一敏感词是否为所述目标文本中的目标敏感词,包括:
基于所述第一敏感词,从所述第一敏感词集合中获取所述第一敏感词对应的第一语义特征和所述第一敏感词对应的第二语义特征;
基于所述目标文本,确定所述第一敏感词在所述目标文本中的第三语义特征;
基于所述第三语义特征、所述第一语义特征以及所述第二语义特征,确定所述第一敏感词是否为所述目标文本中的目标敏感词。
4.根据权利要求3所述的方法,其特征在于,所述基于所述第三语义特征、所述第一语义特征以及所述第二语义特征,确定所述第一敏感词是否为所述目标文本中的目标敏感词,包括:
基于所述第三语义特征、所述第一语义特征以及所述第二语义特征,确定所述第三语义特征与所述第一语义特征之间的第一相似度,以及所述第三语义特征与所述第二语义特征之间的第二相似度;
基于所述第一相似度和所述第二相似度,确定所述第一敏感词是否为所述目标文本中的目标敏感词。
5.根据权利要求2中任一项所述的方法,其特征在于,所述方法还包括:
将所述目标文本中除与所述第一敏感词集合中相同的敏感词之外的文本信息输入到第一模型中,得到所述目标文本中的目标敏感词,所述第一模型是基于多个所述敏感程度高于所述第一预设阈值的敏感词训练得到。
6.根据权利要求5所述的方法,其特征在于,在所述获取待识别的目标文本之前,所述方法还包括:
将预设样本输入至第一模型中,输出所述预设样本中包含的多个敏感词;
基于所述预设样本中包含的多个敏感词,确定所述预设样本中所包含的多个敏感词的敏感程度,所述敏感程度用于评价所述预设样本中包含的多个敏感词中的每个敏感词的识别准确率;
基于所述预设样本中所包含的多个敏感词的敏感程度,确定所述第一敏感词集合,以及用于对所述第一模型进行模型训练的第二敏感词集合。
7.根据权利要求6所述的方法,其特征在于,所述基于所述预设样本中所包含的多个敏感词的敏感程度,确定所述第一敏感词集合,包括:
若所述多个敏感词中包括在预设语境下的语义唯一的多个敏感词,则获取所述语义唯一的多个敏感词在所述预设样本中的词性,所述词性包括名词、动词、形容词中的至少一种;
基于所述语义唯一的多个敏感词的敏感程度和所述语义唯一的多个敏感词的词性,确定各种词性各自对应的敏感词子集合;
基于所述各种词性各自对应的敏感词子集合,确定所述第一敏感词集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于马上消费金融股份有限公司,未经马上消费金融股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210022769.8/1.html,转载请声明来源钻瓜专利网。