python - Beautiful Soup 没有从网站上获取一些数据

Question

我一直在尝试使用来自https://www.eia.gov/coal/markets/的漂亮汤来抓取一些数据。但是，当我解析内容时，一些数据根本没有显示出来。这些数据字段在 chrome 检查器中可见，但在汤中不可见。问题是它们似乎不是文本元素。我认为他们是使用外部数据库提供的。我附上了下面的截图。有没有其他方法可以抓取这些数据？

提前致谢。

谷歌检查员：

美汤解析内容：

标签： pythonseleniumweb-scrapingbeautifulsoupselenium-chromedriver

Answer 1

您的问题中没有足够的详细信息，但此信息可能是动态加载的，并且您没有获取整个页面源。如果没有您的代码，很难判断您是否使用 selenium 来执行此操作（您将这个问题标记为此类），这可能表明您正在使用 page_source，这并不能保证您正在查看的页面的完整源代码。如果您使用请求，则更不可能捕获整个页面的完整源代码。