python - requests_html 的 HTMLSession 没有获得完整的网页

Question

我正在尝试获取网页的 html 并将其保存为.html文件。但它没有获得页面的完整内容。有时它会获得完整的页面，但有时它会丢失页面中的特定表格。以下是我的代码：-

from requests_html import HTMLSession
session = HTMLSession()
r = session.get(url)
f = open('/home/ubuntu/log/{}.html'.format('UPS_httpsession'), 'w+', encoding='utf-8')
f.write(str(r.html.html))
f.close()

我想告诉的另一件事是，当我在本地机器上运行它时，它一直运行良好，并且只有在我在生产服务器上运行它时才会产生问题。

标签： pythonweb-scraping