[发明专利]网页正文的识别方法、装置、电子设备及存储介质在审
申请号: | 202110823007.3 | 申请日: | 2021-07-20 |
公开(公告)号: | CN113537091A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 余良 | 申请(专利权)人: | 东莞市盟大塑化科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/34 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 张艳美;刘光明 |
地址: | 523000 广东省东莞市南城区周溪隆溪路*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 网页 正文 识别 方法 装置 电子设备 存储 介质 | ||
1.一种网页正文的识别方法,其特征在于,包括:
获取待分析网页文本,所述待分析网页文本包括字符行和空白行,单个空白行和多个连续排列的空白行视作间隔,所述间隔对应的空白行数量表示该所述间隔的长度;
根据所述待分析网页文本的所有间隔计算得到一参考间隔长度;
利用所述参考间隔长度过滤所述待分析网页文本的所有间隔,以保留长度大于所述参考间隔长度的所述间隔;
穷举搜索任意两行之间对应的字符数和过滤后的所有间隔,并根据各搜索区域对应的字符数和过滤后的所有间隔确定网页正文。
2.如权利要求1所述的网页正文的识别方法,其特征在于,
所述参考间隔长度为所述待分析网页文本的所有间隔的平均间隔长度。
3.如权利要求1所述的网页正文的识别方法,其特征在于,
所述根据各搜索区域对应的字符数和过滤后的所有间隔确定网页正文,包括:
计算各搜索区域对应的字符数与参考值的比值得到各搜索区域对应的字符密度;
提取最大所述字符密度对应的搜索区域作为网页正文;
所述参考值根据各搜索区域过滤后的所有间隔得到,各搜索区域过滤后的间隔数为零时,所述参考值为最小。
4.如权利要求3所述的网页正文的识别方法,其特征在于,
所述参考值为各搜索区域过滤后的所有间隔的长度之和。
5.一种网页正文的识别装置,其特征在于,包括:
获取模块,所述获取模块用于获取待分析网页文本,所述待分析网页文本包括字符行和空白行,单个空白行和多个连续排列的空白行视作间隔,所述间隔对应的空白行数量表示该所述间隔的长度;
计算模块,所述计算模块用于根据所述待分析网页文本的所有间隔计算得到一参考间隔长度;
过滤模块,所述过滤模块用于利用所述参考间隔长度过滤所述待分析网页文本的所有间隔,以保留长度大于所述参考间隔长度的所述间隔;
搜索及确定模块,所述搜索及确定模块用于穷举搜索任意两行之间对应的字符数和过滤后的所有间隔,并根据各搜索区域对应的字符数和过滤后的所有间隔确定网页正文。
6.如权利要求5所述的网页正文的识别装置,其特征在于,
所述参考间隔长度为所述待分析网页文本的所有间隔的平均间隔长度。
7.如权利要求5所述的网页正文的识别装置,其特征在于,
所述根据各搜索区域对应的字符数和过滤后的所有间隔确定网页正文,包括:
计算各搜索区域对应的字符数与参考值的比值得到各搜索区域对应的字符密度;
提取最大所述字符密度对应的搜索区域作为网页正文;
所述参考值根据各搜索区域过滤后的所有间隔得到,各搜索区域过滤后的间隔数为零时,所述参考值为最小。
8.如权利要求7所述的网页正文的识别装置,其特征在于,
所述参考值为各搜索区域过滤后的所有间隔的长度之和。
9.一种电子设备,其特征在于,包括:
处理器;
存储器,其中存储有所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-4任一项所述的网页正文的识别方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4任一项所述的网页正文的识别方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东莞市盟大塑化科技有限公司,未经东莞市盟大塑化科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110823007.3/1.html,转载请声明来源钻瓜专利网。