[发明专利]一种自适应结构化的文档抽取方法

摘要

本发明公开了一种自适应结构化的文档抽取方法。本发明首先从互联网中采集原始网页并存储，然后对采集到的原始网页中的原文进行通用无意义清洗，接下来根据Xpath定位网页中的元素，自动对比抽取出网页中有价值的内容，最后将抽取到的内容按照结构化的格式存储起来；通过改进的抽取规则实现不需要先验知识和人工标注数据，而是通过挖掘网页之间的语义相似性，自动生成适用的抽取模式。本发明抽取规则由目标网站自身特点决定，对不同站点兼容性较强，具有较高的可扩展性。通过同站点下相似数据的关联和对比，自动实现过滤冗余内容。实现了基于网页结构和基于文本特征抽取的有效结合。