python - Python 从搜索结果中抓取数据

Question

我想从搜索结果中抓取数据。这是搜索结果。

https://www.realtor.ca/map#ZoomLevel=12&Center=49.257645%2C-123.123580&LatitudeMax=49.34328&LongitudeMax=-122.84875&LatitudeMin=49.17186&LongitudeMin=-123.39841&view=list&Sort=1-A&PGeoIds=g30_c2b2nw3h&GeoName=Vancouver%2C%20BC&PropertyTypeGroupID=1&PropertySearchTypeId=1&TransactionTypeId=2&Currency=CAD

但是我需要的数据（图片、税收、描述）不在结果中，所以我必须访问每个链接来获取这些数据。

我不确定实现这一点的最佳方法是什么，所以我创建了 2 个机器人，第一个机器人从所有属性中抓取所有链接并将其保存在数据库中，第二个机器人转到保存在数据库中的每个链接并抓取所有我需要的数据。

有没有更好更有效的方法来做到这一点？我在 github 上找不到任何可以用作模板的东西。

标签： pythonalgorithmweb-scrapingbeautifulsoupscrapy