时间戳

首页 > 解决方案 > 请求没有得到完整的正文内容

html - 请求没有得到完整的正文内容

问题描述

我知道，这是已经被问到很多的问题。所以我尝试了一些解决方案，它适用于我的其他作品。

但这个网站是不同的，我想。我一开始试过这个。

html = requests.get(url = "http://loawa.com")
soup = BeautifulSoup(html.content.decode('utf-8','replace'), 'html.parser')
print(soup)

它给我带来了一个头，和一个轻微的身体。

<body class="p-0 bg-theme-6" style="overflow-x:hidden"><script>window.location.reload(true);</script></body>

所以我使用 prerender 作为

html = requests.get(url = "http://service.prerender.io/http://loawa.com")
soup = BeautifulSoup(html.content.decode('utf-8','replace'), 'html.parser')
print(soup)

它给了我同样的结果。所以我用标题尝试了它。

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36','Content-Type': 'text/html',}
response = requests.get("http://loawa.com",headers=headers)
html = response.text
soup = BeautifulSoup(html.content.decode('utf-8','replace'), 'html.parser')
print(soup)

html 显示为空。不确定我在标题方面做得是否正确。我可以尝试更多什么？我不想在这项工作中使用硒。希望有人能启发我。谢谢！

标签： htmlpython-3.xpython-requests

解决方案

推荐阅读