[发明专利]一种语料抽取方法、装置和电子设备有效
申请号: | 201710104640.0 | 申请日: | 2017-02-24 |
公开(公告)号: | CN108509406B | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 徐礼逵 | 申请(专利权)人: | 北京搜狗科技发展有限公司 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06F16/33;G06F16/335;G10L15/183 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苏培华 |
地址: | 100084 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本申请实施例提供了一种语料抽取方法、装置及电子设备,该方法包括:依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理,确定对应的语料迭代结果,其中,所述语料迭代结果包含过滤后的语料;当所述语料迭代结果符合预设的迭代任务条件时,将所述语料迭代结果中过滤后的语料作为抽取的目标语料。本申请实施例通过对待过滤语料进行迭代过滤处理,实现了自动筛选出所需抽取的目标语料,从而解决了基于人工总结规则确定出的人工设定的清洗策略难以清洗所有垃圾语料的问题。 | ||
搜索关键词: | 一种 语料 抽取 方法 装置 电子设备 | ||
【主权项】:
1.一种语料抽取方法,其特征在于,包括:依据预先训练的目标种子语言模型对各待过滤语料进行迭代过滤处理,确定对应的语料迭代结果,其中,所述语料迭代结果包含过滤后的语料;当所述语料迭代结果符合预设的迭代任务条件时,将所述语料迭代结果中过滤后的语料作为抽取的目标语料。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京搜狗科技发展有限公司,未经北京搜狗科技发展有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201710104640.0/,转载请声明来源钻瓜专利网。