python - 不一致的结果美丽的汤？

Question

所以，我正在抓取一个网站，虽然我能够返回网页的 html，但漂亮的“查找”结果却不一致。在一遍又一遍地运行检索同一页面时，BS4 有时可以找到某个标签，有时却找不到。

我测试了网页 len，当 Beautiful soup 能够检索到想要的标签时，len 是 9220189（正确尺寸），当它不能时，是 103557968。我打印了两种尺寸的网页，它们是一致的。事实上，我正在寻找的字符串可以在两个网页打印中找到。

这可能是美汤的大小限制吗？我不确定发生了什么事？

编辑：链接： https ://www.brenda-enzymes.org/ligand.php?brenda_ligand_id=1

我在找什么：soup.find(string='Molecular Formula')

有时可以找到该字符串，有时却找不到。文本始终在网页中，并且没有使用 javascript 加载。

标签： pythonbeautifulsoup

Answer 1

我通过减小 html 的大小解决了这个问题。虽然我没有找到更好的解决方案，但必须这样做。