[实用新型]网页数据采集装置

摘要

本专利公开了互联网数据处理领域中的一种网页数据采集装置，包括壳体，壳体内设有电子芯片，电子芯片包括端口模块、抽取模块、虚拟模块和存储模块；端口模块包括连接单元，输入单元和输出单元；虚拟模块包括虚拟发生子模块和虚拟空间子模块；虚拟空间子模块包括第一确定单元、第二确定单元、删减单元和确定采集单元；存储模块包括存储单元和压缩单元；连接单元与输入单元间、输入单元与抽取模块间、存储单元与压缩单元间、存储单元与输出单元间、第二确定单元与删减单元间、抽取模块与第一确定单元间、第一确定单元与第二确定单元间、第二确定单元与存储单元间、存储单元与第一确定单元间均采用电信号连接。通过优化设计，提高了数据的采集速度。

主权项

网页数据采集装置，其特征在于：包括壳体，壳体内设有电子芯片，电子芯片包括端口模块、抽取模块、虚拟模块和存储模块；端口模块包括连接单元、输入单元和输出单元；虚拟模块包括虚拟发生子模块和虚拟空间子模块；虚拟空间子模块包括第一确定单元、第二确定单元、删减单元和确定采集单元；存储模块包括存储单元和压缩单元；连接单元与输入单元间通过电信号双向连接，输入单元与抽取模块间通过电信号双向连接，抽取模块通过电信号单向连接第一确定单元，第一确定单元通过电信号单向连接第二确定单元，第二确定单元与删减单元间通过电信号双向连接，第二确定单元通过电信号单向连接存储单元，存储单元与压缩单元间通过电信号双向连接，存储单元通过电信号双向连接输出单元和单向连接第一确定单元；抽取模块，用于根据采集到的列表页对应网页的内容，抽取每个内容所在的内容页的统一资源定位符信息；连接单元，用于与计算机进行连接；输入单元，用于将网页传输到抽取模块；输出单元，用于将标识信息传输至网络；虚拟发生子模块，用于产生大容量虚拟空间；第一确定单元，用于根据抽取的每个内容页的统一资源定位符信息，确定每个统一资源定位符信息对应标识信息；第二确定单元，用于针对确定的每个统一资源定位符信息对应的标识信息，判断是否存在该确定的标识信息；删减单元，用于删除筛分单元中重复多余的重复信息与已存在的标识信息；确定采集单元，用于根据列表页所属网页的标准更新率，确定针对列表页当前数据信息采集与下一次数据信息采集的时间间隔；存储单元，用于存放标识信息；压缩单元，用于压缩所述存储单元内的标识信息。