[发明专利]一种基于BERT的句子自动填充方法有效
| 申请号： | 201910792474.7 | 申请日： | 2019-08-26 |
| 公开（公告）号： | CN110516244B | 公开（公告）日： | 2023-03-24 |
| 发明（设计）人： | 尚凡华;王钟书;刘红英;张怀宇;陈孙虎;沈雄杰 | 申请（专利权）人： | 西安艾尔洛曼数字科技有限公司 |
| 主分类号： | G06F40/211 | 分类号： | G06F40/211;G06F40/289;G06N3/045 |
| 代理公司： | 西安通大专利代理有限责任公司 61200 | 代理人： | 高博 |
| 地址： | 710065 陕西省西安市高新区丈*** | 国省代码： | 陕西;61 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于BERT的句子自动填充方法，获取用于生成训练数据的完整原始句子，使用分词工具和句法分析树对句子分别进行二阶处理；结合先验，对处理后的句子中的词语进行判断，将不符合先验的词语替换为占位符，由此得到筛选后的关键词组；将筛选后的词组和原始句子组合构造出训练数据；使用预训练好的BERT作为编码器，使用Transformer作为解码器构建出主网络，使用训练数据训练该网络；利用已训练好的主网络对新的关键词组进行测试，得到最终根据关键词组进行填充的句子即为最终结果。本发明具有很好的根据关键词组填充句子的能力，并且具有填充后的句子语义通顺的优点，可以应用于各种类型的根据关键词进行句子补充的问题。 | ||
| 搜索关键词： | 一种 基于 bert 句子 自动 填充 方法 | ||
【主权项】：
1.一种基于BERT的句子自动填充方法，其特征在于，包括以下步骤：/nS1、获取用于生成训练数据的完整原始句子S，使用分词工具Cs对句子进行一阶处理，得到一阶处理后的句子Sc；再使用句法分析树Ts对Sc进行二阶处理，得到二阶处理后的句子Sct；/nS2、结合先验M对句子Sct中每个分好的词语进行判断，保留符合M的词语，并将不符合M的词语统一使用占位符替换，得到替换后的句子Sr；/nS3、将Sr作为训练样本，将原始句子S作为训练标签，共同组成训练数据；/nS4、使用预训练的BERT作为编码器E，并使用Transformer作为解码器D，共同构建网络NED，使用训练数据Sr和对应标签S来训练网络NED；/nS5、将关键词和占位符组成的句子Stest作为测试样本输入步骤S4训练好的网络NED，得到根据关键词补充出的完整句子Sfill。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西安艾尔洛曼数字科技有限公司，未经西安艾尔洛曼数字科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910792474.7/，转载请声明来源钻瓜专利网。
