python - Google Inspector 中有效的 xPath 表达式，但在 Scrapy 中无效

Question

我正在尝试使用 Scrapy 抓取聚会页面（我只是想获取组的名称和 url），但由于某种原因，xpath 选择器不会在终端中返回任何内容（我正在使用 scrapy shell 方法），而它在 Google Inspector 中似乎有效。你可以在下面的 Scrapy 中看到我的代码：

In [15]: groups = response.xpath("//li[@class='groupCard tileGrid-tile  noRatings']/div/a[contains(@class, 'display-non
    ...: e')]")

In [16]: groups
Out[16]: []

In [17]: groups = response.xpath("//li[@class='groupCard tileGrid-tile  noRatings']/div/a[contains(@class, 'display-none')]").get()

In [18]: groups

In [19]:

以及此处的Google Inspector 屏幕截图。你们知道我做错了什么吗？谢谢 ！

标签： pythonxpathweb-scrapingscrapy