[发明专利]一种信息获取方法、装置及计算设备

说明书

本发明公开了一种信息获取方法、装置及计算设备，该方法包括：获取用户输入的网址信息；对网址信息进行处理，以获取网址信息关联的一个或多个个人主页链接地址；对各个人主页链接地址关联的个人主页进行目标数据提取；根据网址信息关联的全部个人主页链接地址对应的目标数据，生成信息文件并保存。

技术领域

本发明涉及计算机网络领域，特别涉及一种信息获取方法、装置及计算设备。

背景技术

随着信息技术的发展和网络应用的拓展，越来越多的信息在网络上进行提供和展示，如何快速又准确地获取自己需要的信息成为了新的关注点。网络爬虫是目前比较流行的批量数据及信息获取方式，通过使用网络爬虫，很快就可以获取目标网站上的数据。常见的网络爬虫应用领域包括搜索引擎、电商网站的商品、股票价格走势信息、新闻领域、图像视频类文件的获取等。

常规的网络爬虫一般是通用型的，在进行数据爬取时，往往需要设置目标网页的内容路径标签、翻页动作、数据爬取路径等，且由于网页的数据没有统一的格式，因此每换一个网址就需要重新对爬取数据的路径和流程进行设置，花费了较大时间成本，降低了数据获取效率。而且，若用户不具备一定的HTML（Hyper Text Markup Language，超文本标记语言）网页基础，或者不熟悉网络爬虫，则无法快速掌握具体的使用方法。

此外，上述网络爬虫采用的方式是获取指定路径标签内的文本内容，对于没有固定标签路径的手机号码、电子邮箱这类数据，难以对其精确抓取，获取效率很低。

因此，需要一种新的信息获取方法来优化上述处理过程。

发明内容

为此，本发明提供一种信息获取方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种信息获取方法，该方法包括如下步骤：首先，获取用户输入的网址信息；对网址信息进行处理，以获取网址信息关联的一个或多个个人主页链接地址；对各个人主页链接地址关联的个人主页进行目标数据提取；根据网址信息关联的全部个人主页链接地址对应的目标数据，生成信息文件并保存。

可选地，在根据本发明的信息获取方法中，网址信息至少包括待处理的网络地址，对网址信息进行处理，以获取网址信息关联的一个或多个个人主页链接地址的步骤，包括：对网络地址进行解析，以获取网络地址关联的全部网页链接地址；从网络地址关联的全部网页链接地址中，筛选出网址信息关联的一个或多个个人主页链接地址。

可选地，在根据本发明的信息获取方法中，从网络地址关联的全部网页链接地址中，筛选出网址信息关联的一个或多个个人主页链接地址的步骤，包括：若网址信息还包括关键字信息，则根据关键字信息，对网络地址关联的全部网页链接地址进行识别，以筛选出与关键词信息匹配的网页链接地址作为个人主页链接地址。

可选地，在根据本发明的信息获取方法中，从网络地址关联的全部网页链接地址中，筛选出网址信息关联的一个或多个个人主页链接地址的步骤，包括：若网址信息不包括关键字信息，则根据预设的关键字，对网络地址关联的全部网页链接地址进行识别，以筛选出与预设的关键字匹配的网页链接地址作为个人主页链接地址。

可选地，在根据本发明的信息获取方法中，预设的关键字包括szdw、info、id、js、page、facu、principal和detail中至少一个。

可选地，在根据本发明的信息获取方法中，还包括：生成第一过程日志，第一过程日志包括一个或多个个人主页链接地址的获取过程信息。

可选地，在根据本发明的信息获取方法中，对各个人主页链接地址关联的个人主页进行目标数据提取的步骤，包括：根据预设的匹配规则，对各个人主页链接地址对应的超文本标记语言文本进行数据解析和识别，以提取出与匹配规则相对应的目标数据，匹配规则包括关键字匹配规则和正则表达式匹配规则。