python - Python Web Scraping - 动态加载页面

Question

我正在使用 python scrapy 框架（接受其他库的建议）来抓取机票网站，但是在请求页面时它不会返回整个内容。

该页面有一些以价格作为响应的 POST 请求，但此查询需要几秒钟，所以我没有得到完整的 HTML。

查询前的页面：

<div id="prices">
</div>

查询后的页面：

<div id="prices">
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
    <div id="price">
        Flight price with info
    </div>
</div>

我不确定我是否可以伪造 POST 请求并获得 json 响应，因为有一些 API 端点保护。

完全加载后，如何在查询后获取页面？

标签： pythonweb-scrapingscrapy