[发明专利]网页中提取双语平行正文的方法和系统

摘要

由网页中提取双语平行正文的方法和系统，涉及语料获取技术领域。本发明克服了现有的语料库收集效率低和规模不足的问题。本发明所述的系统包括用于存储大规模随机爬取的网页及其属性的网页数据库；用于提取每个网页的标签字符串、正文内容及相关信息的正文信息提取模块；用于根据网页数据库中的所有网页的正文内容确定混合网页或单语种网页的网页类型判别模块；用于对混合网页中的双语文本进行互译判别、将判定为互译文本的双语文本保存至双语语料库的混合网页处理模块；用于针对每一个未标识匹配的单语种网页遍历网页数据库中的其它单语种网页，获得存有互译文本的两个单语种网页，并将两个网页中的正文内容保存至双语语料库单语种网页处理模块。

主权项

由网页中提取双语平行正文的系统，其特征在于，该系统包括：网页数据库，用于存储大规模随机爬取的网页及其属性；还用于通过网页的URL进行基于字符的散列处理，并将处理之后的所有网页按照其域名的相近程度分类存储；将所有网页按照其域名的相近程度分类存储是指：将每个网页的域名中的主域名和每个子域名计算获得相应的哈希值，将主域名的哈希值相同的所有网页存在一个大类中，将该大类中下一级子域名的哈希值相同的所有网页再划分到一个子类中，以此类推，将所有网页分类存储；正文信息提取模块，用于提取每个网页的标签字符串，还用于提取该网页中的正文内容，并且记录所述标签字符串以及该网页正文内容的编码类型和正文长度，并存储至网页数据库；网页类型判别模块，用于对网页数据库中的所有网页的正文内容进行语言种类判断，如果所述正文内容中存在规模相当的双语文本，则判定该混合网页为混合网页，否则判断该网页为单语种网页；混合网页处理模块，用于对混合网页中的双语文本进行互译判别，当判定为互译文本时，将该网页中的双语文本整理成双语平行文本格式并保存至双语语料库。单语种网页处理模块，用于遍历网页数据库中的每一个未标识匹配的单语种网页进行处理，对每个单语种网页的处理过程为：将该单语种网页中的正文内容与网页数据库中其它未标识匹配的单语种网页的正文内容进行互译判别，选择其它未标识匹配单语种网页的原则是优先选择位于同一个子类中的单语种网页，将判定是互译文本的两个单语种网页中的正文内容整理成双语平行文本保存至双语语料库，并将所述两个单语种网页均标识为匹配。