[发明专利]一种新闻文本摘要抽取方法、系统及介质在审
申请号: | 202210245792.3 | 申请日: | 2022-03-14 |
公开(公告)号: | CN114781355A | 公开(公告)日: | 2022-07-22 |
发明(设计)人: | 陆璐;陈俊宏;冼允廷 | 申请(专利权)人: | 华南理工大学;广东优算科技有限公司 |
主分类号: | G06F40/211 | 分类号: | G06F40/211;G06F40/289;G06F40/30;G06K9/62 |
代理公司: | 广州市华学知识产权代理有限公司 44245 | 代理人: | 李君 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 新闻 文本 摘要 抽取 方法 系统 介质 | ||
1.一种新闻文本摘要抽取方法,其特征在于,包括以下步骤:
获取新闻并将所述新闻切分为若干句子,提取所述句子的句向量,根据所述句向量相似度构建相似度矩阵;
提取新闻标题句向量,并与所述句子计算相似度,根据所述计算相似度,进行第一次调整文本权重值;
抽取新闻文本和新闻标题中关键词,基于句子中包含关键词数据,进行第二次调整文本权重值;
构建线索词表,根据句子所包含线索词,进行第三次调整文本权重值;
根据相似度矩阵和每个句子权重值,计算句子得分;
根据所述句子得分进行排序,完成文本摘要提取。
2.根据权利要求1所述的一种新闻文本摘要抽取方法,其特征在于,所述将新闻切分为若干句子,提取所述句子的句向量,根据所述句向量相似度构建相似度矩阵,具体为:基于预设分隔符,将新闻分割为若干句子,对每个句子设定初始权重值;使用Albert提取新闻中每个句子的句向量,使用点乘计算句向量之间相似度分数,并根据句向量之间相似度分数构建相似度矩阵:
similarityMatrix[i][j],
similarityMatrix[i][j]表示相似度矩阵的第i行第j列,则similarityMatrix[i][j]的值为新闻文本中第i个句子和第j个句子的相似度分数。
3.根据权利要求1所述的一种新闻文本摘要抽取方法,其特征在于,所述提取新闻标题句向量,与所述文本计算相似度,根据所述计算相似度,进行第一次调整文本权重值,具体为:使用Albert提取新闻标题的句向量,并与每个文本计算相似度,根据该计算相似度对本文权重值进行第一次调整;所述第一次调整,设M表示某一个句子与标题的相似度,则该句调整的权重值为M*A,A是一个超参数,即文本与新闻标题越相似,文本权重值调整越高。
4.根据权利要求1所述的一种新闻文本摘要抽取方法,其特征在于,所述抽取新闻文本和新闻标题中关键词,基于句子中包含关键词数据,进行第二次调整文本权重值,具体为:对新闻文本进行分词并去除停用词,通过关键词抽取方法抽取新闻文本和新闻标题的关键词,基于每个句子包含的关键词数据,对句子权重值进行的第二次调整;所述第二次调整,共抽取了X个关键词,某一句子包含这X个关键词中的Y个,则该句子权重调整为Y/X*B,B是一个超参数,即文本包含的关键词占比越大,文本权重值调整越高。
5.根据权利要求1所述的一种新闻文本摘要抽取方法,其特征在于,所述构建线索词表,具体为:线索词是指概括性的指示词语,包括有:综上所述、总而言之、总之、总的来说。
6.根据权利要求5所述的一种新闻文本摘要抽取方法,其特征在于,所述根据句子所包含线索词,进行第三次调整文本权重值,具体为:根据线索词表比对,比对句子中是否包含线索词,若句子中包含线索词,则对句子权重值进行第三次调整;若句子中不包含线索词,则不进行文本权重值调整;所述第三次调整,对有线索词的文本增加其文本权重值,如果该句中包含线索词,则该句子权重增加C。
7.根据权利要求1所述的一种新闻文本摘要抽取方法,其特征在于,所述根据相似度矩阵和每个句子权重值,计算句子得分,具体为:
将某一句子与位于该句子之前句子的相似度,乘上该某一句子前任意一句子的文本权重,得到调整后的句子相似度;将所述某一句子前所有经过调整的句子相似度相加并乘上该句子的权重进而再乘上一个超参数,得到句子前向边的得分;
将某一句子与位于该句子之后句子的相似度,乘上该某一句子后任意一句子的文本权重,得到调整后的句子相似度;将所述某一句子后所有经过调整的句子相似度相加并乘上该句子的权重进而再乘上一个超参数,得到句子后向边的得分;
将句子前后向边的得分相加,得到句子的最终得分。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学;广东优算科技有限公司,未经华南理工大学;广东优算科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210245792.3/1.html,转载请声明来源钻瓜专利网。