[发明专利]一种基于固定电话爬取信息的方法、计算设备及存储介质

说明书

本发明实施例提供一种基于固定电话爬取信息的方法、计算设备及存储介质，包括：获取源数据，源数据包括M个固定电话，M为大于1的整数；将源数据缓存到第一消息队列；从第一消息队列中读取待处理的固定电话，在目标网站上爬取待处理的固定电话对应的地址信息；在爬取到待处理的固定电话对应的地址信息时，将待处理的固定电话和待处理的固定电话对应的地址信息存入第一数据库。本发明实施例，可以通过计算机来自动爬取固定电话对应的地址信息，克服现有技术中通过人工获取效率低的技术问题。

技术领域

本发明涉及计算机应用领域，具体涉及一种基于固定电话爬取信息的方法、计算设备及存储介质。

背景技术

随着商业的蓬勃发展，很多公司能够处理和存储的固定电话数据越来越多，很多公司为了高效地发现目标用户，需要对固定电话信息数据进行处理以获得固定电话对应的详细地址信息，对目标用户进行精准营销。目前，获得固定电话详细地址信息的方法有通过拨打114查询，登陆网站网页链接进行查询以及去营业厅查询等。但是，这些方法通过人工逐个获取固定电话地址信息，在需要获取大量固定电话对应的详细地址信息时，效率低下。

发明内容

本发明实施例提供了一种基于固定电话爬取信息的方法、计算设备及存储介质，通过计算机来自动爬取固定电话对应的地址信息，克服现有技术中通过人工获取效率低的技术问题。

本发明实施例第一方面提供一种基于固定电话爬取信息的方法，包括：

获取源数据，所述源数据包括M个固定电话，M为大于1的整数；

将所述源数据缓存到第一消息队列；

从所述第一消息队列中读取待处理的固定电话，在目标网站上爬取所述待处理的固定电话对应的地址信息；

在爬取到所述待处理的固定电话对应的地址信息时，将所述待处理的固定电话和所述待处理的固定电话对应的地址信息存入第一数据库。

作为一种可能的实施方式，所述方法还包括：

在未爬取到所述待处理的固定电话对应的地址信息时，存储用于指示所述待处理的固定电话爬取失败的指示信息。

作为一种可能的实施方式，在爬取到所述待处理的固定电话对应的地址信息时，将所述待处理的固定电话和所述待处理的固定电话对应的地址信息存入第一数据库之前，所述方法还包括，按照所述第一消息队列中固定电话的缓存次序，将所述待处理的固定电话的爬取结果缓存到第二消息列队，所述爬取结果包括爬取到的所述待处理的固定电话对应的地址信息或用于指示所述待处理的固定电话爬取失败的指示信息；

所述将所述待处理的固定电话和所述待处理的固定电话对应的地址信息存入所述第一数据库，包括：将所述第一消息队列中的第i个电话号码和所述第二消息队列中第i个爬取结果存储到所述第一数据库，i为不大于M的整数。

作为一种可能的实施方式，所述爬取结果包括指示标识和内容，所述第i个爬取结果的标识用于指示所述第i个电话号码爬取成功或失败，所述第i个爬取结果的内容包括爬取到的所述第i个电话号码对应的地址信息。

作为一种可能的实施方式，所述将所述源数据缓存到第一消息队列，包括：

将从第二数据库中读取到的固定电话存入第一消息队列；

判断所述第一消息队列的数据量是否大于第一阈值；

若所述第一消息队列中的数据量大于第一阈值，执行所述从所述第一消息队列中读取待处理的固定电话，在目标网站上爬取所述待处理的固定电话对应的地址信息的操作；

若所述第一消息队列的数据量不大于所述第一阈值，则执行所述将从第二数据库中读取到的固定电话存入第一消息队列。