[发明专利]一种用于构建领域词典的数据处理方法及装置在审
申请号: | 202111654104.0 | 申请日: | 2021-12-30 |
公开(公告)号: | CN114357982A | 公开(公告)日: | 2022-04-15 |
发明(设计)人: | 黄于晏;陈莹莹;钟艺豪;陈畅新;孔晓晴 | 申请(专利权)人: | 有米科技股份有限公司 |
主分类号: | G06F40/242 | 分类号: | G06F40/242;G06F40/279;G06F16/335;G06F16/683 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 江银会 |
地址: | 510006 广东省广州*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 构建 领域 词典 数据处理 方法 装置 | ||
1.一种用于构建领域词典的数据处理方法,其特征在于,所述方法包括:
获取待处理素材信息;所述待处理素材信息包括营销文本信息,和/或,待处理歌曲信息,和/或,押韵字表信息;
对所述待处理素材信息进行分割过滤处理,得到待用词典;所述待用词典用于对素材文本中的词语进行筛选;
对所述待用词典进行分割筛选处理,得到领域关键词信息;所述关键词信息与所述待处理素材信息所属的广告领域是强相关的;所述领域关键词用于构建领域词典。
2.根据权利要求1所述的用于构建领域词典的数据处理方法,其特征在于,所述对所述待处理素材信息进行分割过滤处理,得到待用词典,包括:
对所述待处理歌曲信息进行识别处理,得到初始歌词文本信息;
对所述初始歌词文本信息分割过滤处理,得到待用词典。
3.根据权利要求2所述的用于构建领域词典的数据处理方法,其特征在于,所述对所述初始歌词文本信息分割过滤处理,得到待用词典,包括:
对所述初始歌词文本信息进行字符分割和行分隔处理,得到第一中间歌词文本信息;
对所述第一中间歌词文本信息进行计算处理,得到第二中间歌词文本信息;
利用预设的停用词表对所述第二中间歌词文本信息进行筛选处理,得到第三中间歌词文本信息;所述第三中间歌词文本信息包括若干个歌词文本片段;
对所述第三中间歌词文本信息进行计算筛选排序处理,得到待用词典。
4.根据权利要求3所述的用于构建领域词典的数据处理方法,其特征在于,所述对所述第三中间歌词文本信息进行计算筛选排序处理,得到待用词典,包括:
对所述第三中间歌词文本信息进行信息熵计算处理,得到第一文本熵信息;
利用预设的熵阈值对所述第一文本熵信息进行筛选处理,得到第二文本熵信息;
对所述第二文本熵信息进行排序处理,得到文本序列信息;所述排序处理是根据所述歌词文本片段对应的频率信息进行的;
对所述文本序列信息进行处理,得到待用词典。
5.根据权利要求1所述的用于构建领域词典的数据处理方法,其特征在于,所述对所述待用词典进行分割筛选处理,得到领域关键词信息,包括:
利用预设的词向量模型对所述待用词典和所述营销文本信息进行处理,得到词向量信息;
利用预设的第一分词工具对所述待用词典和所述营销文本信息进行处理,得到待用领域词信息;
对所述词向量信息和所述待用领域词信息进行转换筛选处理,得到领域关键词信息。
6.根据权利要求5所述的用于构建领域词典的数据处理方法,其特征在于,所述对所述词向量信息和所述待用领域词信息进行转换筛选处理,得到领域关键词信息,包括:
利用所述词向量信息对所述待用领域词信息进行转换处理,得到领域词向量信息;
对所述领域词向量信息进行聚类计算处理,得到词距离信息;
对所述词距离信息进行分组筛选处理,得到领域关键词信息。
7.根据权利要求1所述的用于构建领域词典的数据处理方法,其特征在于,在所述对所述待用词典进行分割筛选处理,得到领域关键词信息之后,所述方法还包括:
对所述押韵字表信息进行处理,得到同韵列表;
利用预设的第二分词工具对所述同韵列表、所述领域关键词信息和所述待处理歌曲信息进行处理,得到训练文本信息;所述训练文本信息用于训练格式限制模型;所述格式限制模型用于约束广告歌词的格式。
8.一种用于构建领域词典的数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理素材信息;所述待处理素材信息包括营销文本信息,和/或,待处理歌曲信息,和/或,押韵字表信息;
第一处理模块,用于对所述待处理素材信息进行分割过滤处理,得到待用词典;所述待用词典用于对素材文本中的词语进行筛选;
第二处理模块,用于对所述待用词典进行分割筛选处理,得到领域关键词信息;所述关键词信息与所述待处理素材信息所属的广告领域是强相关的;所述领域关键词用于构建领域词典。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于有米科技股份有限公司,未经有米科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111654104.0/1.html,转载请声明来源钻瓜专利网。