python - 当您在网页上做出一些选择时，如何找到正确的 URL？

Question

我对网络抓取很陌生。通过使用 xpath 选择器，我试图获取该网页上的知识：https ://seffaflik.epias.com.tr/transparency/uretim/planlama/kgup.xhtml

但关键是，无论何时更改日期或动力装置名称，URL 都不会更改，因此当您获取响应时，您总是得到相同且错误的答案。有没有办法找到正确的 URL 或与 HTML 标记等相关的任何其他内容？

标签： pythonurlxpathrequestscrape

Answer 1

对于这样的抓取操作，您需要做的不仅仅是加载文档然后抓取内容。在用户定义了一组特定的参数并更新了表单后，相关文档依赖 JavaScript 从其他资源加载新信息。

加载文档后，您需要定义搜索参数。您可以通过 JavaScript 注入或通过浏览器的控制台执行此操作。例如，如果您尝试定义第一个日期字段的值，则可以使用

document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";

对您希望在搜索中定义的其他字段重复此过程，然后运行以下代码以编程方式执行搜索：

document.querySelector('#j_idt199 button').click();

之后，您可以使用普通的 JS 查询选择器获取您想要的信息，或者您可以实现像artoo.js这样的抓取库来帮助您解释数据并将其导出。