python-3.x - 我们如何从 python 将参数传递给响应式表过滤器？

Question

我想抓取一个有两个过滤器的响应表，一个用于简单的文本搜索，另一个用于每页显示的行数。

是否可以通过我的请求将参数传递给过滤器？

标签： python-3.xweb-scrapingbootstrap-4scrapy

Answer 1

该表仅在客户端过滤。这意味着所有数据都已经存在，只是隐藏了。要获取所有行，您只需使用以下之一：

response.css('#proxylisttable tbody tr')
response.xpath('//table[@id="proxylisttable"]/tbody/tr')

如果你想与表单交互，你需要使用Scrapy Splash来执行过滤所需的 Javascript。