scrapy - 如何使用 Scrapy 在仪表板中获取数据？

Question

我正在从 getaround.com 抓取一些有关汽车租赁的数据。我最近看到可以从用 Javascript 渲染的日历中使用 scrapy-splash 获取汽车可用性。此网址中给出了一个示例：

https://fr.getaround.com/location-voiture/liege/ford-fiesta-533656

我需要的信息包含在div带有 class 的标签中owner_calendar_month。但是，我看到一些数据似乎可以在div带有 class 的标签中访问js_car_calendar calendar_large，其中属性data-path指定/dashboard/cars/533656/calendar. 您知道如何访问此路径吗？并使用 Scrapy 抓取其中的数据？

标签： scrapyscrapy-splash

Answer 1

如果您访问https://fr.getaround.com/dashboard/cars/533656/calendar，您会收到一条错误消息，提示您必须登录才能查看数据。因此，如果您希望能够抓取该数据，首先您必须在 Scrapy 中创建一个登录网站的方法。