[发明专利]机器人开放语料库的异常语句过滤方法和系统在审
| 申请号： | 201910642303.6 | 申请日： | 2019-07-16 |
| 公开（公告）号： | CN110362659A | 公开（公告）日： | 2019-10-22 |
| 发明（设计）人： | 吴新开;李永伟;霍向 | 申请（专利权）人： | 北京洛必德科技有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F16/332;G06F16/335;G06F17/27 |
| 代理公司： | 北京知汇林知识产权代理事务所(普通合伙) 11794 | 代理人： | 董涛 |
| 地址： | 100000 北京市海淀区北太*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种机器人开放语料库的异常语句过滤方法和系统。方法包括：基于群智方式生成机器人对话语料；对生成的机器人对话语料进行预处理；对经过预处理的机器人对话语料进行过滤处理；将经过过滤处理的机器人对话语料存入纯净开发语料库。其中，在过滤处理阶段，先基于预先构建的异常词库查找出经过预处理的机器人对话语料中的异常单元词，再基于预先构建的辅助词库判断异常单元词所在语句中与异常单元词相邻的单元词是否为辅助词，若为否，则判断机器人对话语料为异常语料，将异常语料删除。该技术方案过滤效果好，可有效删除机器人互动对话语料中的敏感语句、广告语句、重复语句以及无意义语句等异常语句，从而建立实用、丰富的开放语料库。 | ||
| 搜索关键词： | 语料 机器人 语句 语料库 对话 预处理 过滤处理 异常单元 语句过滤 构建 删除 辅助词库 广告语句 过滤效果 单元词 基于群 词库 互动 开放 查找 敏感 重复 开发 | ||
【主权项】：
1.一种机器人开放语料库的异常语句过滤方法，其特征在于，包括：S1、基于群智方式生成机器人对话语料；S2、对生成的机器人对话语料进行预处理；S3、对经过预处理的机器人对话语料进行过滤处理；S4、将经过过滤处理的机器人对话语料存入纯净开发语料库；在S3中所述对经过预处理的机器人对话语料进行过滤处理，包括：基于预先构建的异常词库查找出所述经过预处理的机器人对话语料中的异常单元词；基于预先构建的辅助词库判断所述异常单元词所在语句中与所述异常单元词相邻的单元词是否为辅助词，若为否，则判断所述机器人对话语料为异常语料，将所述异常语料删除。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京洛必德科技有限公司，未经北京洛必德科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910642303.6/，转载请声明来源钻瓜专利网。
