python - Scrapy无法通过xpath找到数据

Question

页面：https ://forum.lowyat.net/PropertyForSale

我正在尝试使用旧版本的 IPB（免费时）从论坛中抓取一些项目。

使用 Xpath Helper（Chrome 扩展），我确定了主题标题的 xpath。例如，这个：

response.xpath("//div[@id='forum_topic_list']/table/tbody/tr[7]/td[@class='row1'][4]/div/div[1]/a[1]").extract()

应该返回：

WTS 2 storey terrace house

但它不返回任何东西。

只有在使用以下内容扩大范围后，我才收到回复：

response.xpath("//div[@id='forum_topic_list']/table").extract()

这似乎返回了页面的 html。

我还尝试使用 CSS 选择器，它产生了更好的结果，使用以下内容：

response.css('tr td.row1 div div a::text').extract()

问题是它不只返回主题标题。

我究竟做错了什么？

编辑：只是想澄清页面没有使用javascript显示数据，因为我尝试禁用它加载得很好的javascript。

标签： pythonxpathweb-scrapingscrapy