首页 > 解决方案 > 选择多个下拉菜单后刮

问题描述

我有一个网站,其中包含三个下拉菜单,一个是国家/地区/地区/省,然后是相应的城市。

在我们选择国家后,州下拉菜单显示相应的值,然后当我们选择其中一个州时,城市下拉菜单显示整个城市列表,最后当我们选择城市时,它显示一个表格作为我想要抓取的输出每个国家的城市...

我试图完成这项任务,但如果有人可以帮助我,以下是网站:https ://shipped.com/shipping-containers-for-sale.php

标签: pythonseleniumweb-scrapingscrapy

解决方案


这很简单。如果您单击所有“国家”、“州”和“城市”部分,它会移动到某个页面。在该页面的 HTML 源代码中,存在如下源代码:

<select name="state" id="state" class="radius" required> == $0

它有一个状态名称的选项值列表。

此外,上述代码的下一个兄弟表示为:

<select id="city" name="city" class="radius" onchange="this.form.submit()">

有城市名称列表。您需要做的是遍历州名并获取城市名称列表。.find_element_by_id和等方法.find_element_by_name将非常有帮助。

希望这可以帮助!


推荐阅读