时间戳

首页 > 解决方案 > BeautifulSoup 发现所有表都是空的

python-3.x - BeautifulSoup 发现所有表都是空的

问题描述

我正在尝试从 NOAA 网站上抓取一个非常简单的表格：https ://www1.ncdc.noaa.gov/pub/data/cdo/samples/PRECIP_HLY_sample_ascii.dat

该表是一个“.dat”文件，该站点似乎是 html 格式。当我使用 BeautifulSoup 阅读内容时，我可以很好地看到内容。然而，当我用“find_all”或“find”搜索表时，我什么也得不到，即[]。

这是我的初始代码：

page = requests.get('https://www1.ncdc.noaa.gov/pub/data/cdo/samples/PRECIP_HLY_sample_ascii.dat')
soup = BeautifulSoup(page.content,'html.parser') #'html5lib' #'html.parser' 'lxml'
table = soup.find_all('table')

当我输入汤时，我得到以下信息： 在此处输入图像描述

但是，当我尝试将信息放入表格时，它会出现空白

table
>> []

我尝试了以下变体：

page = urllib.request.urlopen('https://www1.ncdc.noaa.gov/pub/data/cdo/samples/PRECIP_HLY_sample_ascii.dat').read()

soup = BeautifulSoup(page,'lxml')
soup = BeautifulSoup(page,'html5lib') #'' #''

table = soup.findAll('table') 
table = soup.findAll("div",{"class":"line-gutter-backdrop"}) 
table = soup.find_all(True)

但是，表格仍然是空白的。

我发现这个问题看起来很相似：Cannot find table using Python BeautifulSoup

但我的表不在 javascript 中（据我所知）。这只是文字。

我对数据抓取非常陌生，真的不知道为什么这个简单的例子不起作用。非常感谢任何帮助。谢谢你。

标签： python-3.xweb-scrapingbeautifulsoup

解决方案

你找不到table标签，因为没有，你必须找到pre标签。

你可以试试这个片段，它会得到表格内的文本：

from bs4 import BeautifulSoup as soup
import urllib

url = 'https://www1.ncdc.noaa.gov/pub/data/cdo/samples/PRECIP_HLY_sample_ascii.dat'

response = urllib.request.urlopen(url)
html = response.read()

page_soup = soup(html,'lxml')
table = page_soup.find('p')
print(table.text)

输出：

STATION           STATION_NAME                                       ELEVATION  LATITUDE   LONGITUDE  DATE           HPCP     Measurement Flag Quality Flag 
----------------- -------------------------------------------------- ---------- ---------- ---------- -------------- -------- ---------------- ------------ 
COOP:310301       ASHEVILLE NC US                                    682.1      35.5954    -82.5568   20100101 00:00    99999                ]              
COOP:310301       ASHEVILLE NC US                                    682.1      35.5954    -82.5568   20100101 01:00        0                g              
COOP:310301       ASHEVILLE NC US                                    682.1      35.5954    -82.5568   20100102 06:00        1

推荐阅读