时间戳

首页 > 解决方案 > 抓取时无法识别表格

python - 抓取时无法识别表格

问题描述

初学者问题.. 我正在尝试从表中抓取数据，但我似乎无法识别它，我尝试使用类和 id 来识别它，但我的结果是 0。代码和输出如下。

# Import necessary packages
from bs4 import BeautifulSoup
import requests
import pandas as pd
import re
# Site URL
url="https://fbref.com/en/comps/9/stats/Premier-League-Stats"

# Make a GET request to fetch the raw HTML content
html_content = requests.get(url).text

# Parse HTML code for the entire site
soup = BeautifulSoup(html_content, "lxml")
#print(soup.prettify()) # print the parsed data of html

gdp = soup.find_all("table", attrs={"id": "stats_standard"})
print("Number of tables on site: ",len(gdp))

Output - 'Number of tables on site:  0'

标签： pythonweb-scraping

解决方案

我建议你使用 selenium 进行这种刮，它的性能非常可靠。

此代码将为您工作：

from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

option = Options()
option.add_argument('--headless')
url = 'https://fbref.com/en/comps/9/stats/Premier-League-Stats'
driver = webdriver.Chrome(options=option)
driver.get(url)
bs = BeautifulSoup(driver.page_source, 'html.parser')
gdp = bs.find_all('table', {'id': 'stats_standard'})
driver.quit()
print("Number of tables on site: ",len(gdp))

输出

Number of tables on site:  1

推荐阅读