python - 浏览器上的 xpath 和响应不同

Question

当我在检查后在浏览器中搜索 xpath 时，它会显示所需的结果，但是当我在 scrapy 中使用与我的响应相同的 xpath 时，它应该是一个空列表。

因此，当在浏览器上找到一个元素时，我会显示满足元素的数量，例如图片。

现在，当我在 scrapy shell 中从响应中运行相同的 xpath 时，我得到一个空列表，即使响应状态为 200。这可能是什么原因造成的？

标签： pythonxpathscrapy

Answer 1

您的浏览器呈现Javascript代码，这会导致 HTML 代码发生变化。因此，在这种情况下，您需要使用 Javascript 引擎来处理Scrapy中的请求。请查看scrapy-splash来渲染 JS 并获得与浏览器中相同的结果。