[发明专利]基于scrapy框架的房地产数据爬虫方法及装置在审
| 申请号： | 202110481318.6 | 申请日： | 2021-04-30 |
| 公开（公告）号： | CN113515681A | 公开（公告）日： | 2021-10-19 |
| 发明（设计）人： | 刘晓林;龙巧玲;牛德雄;吴梓杰 | 申请（专利权）人： | 广东科学技术职业学院 |
| 主分类号： | G06F16/951 | 分类号： | G06F16/951;G06F16/958 |
| 代理公司： | 广州嘉权专利商标事务所有限公司 44205 | 代理人： | 尹凡华 |
| 地址： | 519090 广*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于scrapy框架的房地产数据爬虫方法，包括：特征提取步骤，对目标网页的数据进行分析，提取所述目标网页中房地产数据的位置特征及结构特征；代码生成步骤，根据所述目标网页构建相应的项目，根据所述位置特征及所述结构特征生成基于scrapy框架的爬虫代码；数据爬取步骤，在scrapy文件集的setting文件中设置信息头将本地IP地址转换成正常的访问地址，根据所述爬虫代码，爬取所述房地产数据并按预设的规则保存。本发明通过对网页数据分析提取特征，根据特征自动生成相应爬虫代码，爬取房地产数据并保存，可便捷提取大量繁多网页中的房地产数据，节省用户时间，提供给用户便捷的查询方式，便于用户根据数据进行行业分析作出决策。 | ||
| 搜索关键词： | 基于 scrapy 框架 房地产 数据 爬虫 方法 装置 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广东科学技术职业学院，未经广东科学技术职业学院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202110481318.6/，转载请声明来源钻瓜专利网。
- 上一篇：SIM卡的切换方法及终端设备
- 下一篇：专利文本的辅助生成方法及电子终端
