首页 > 解决方案 > 如何在 Python 中从网站中抓取和迭代表格

问题描述

我试图在 Python 中抓取和迭代一个表,然后将其输入到 pandas DataFrame,但我什至无法使用 BeautifulSoup 找到表。这是我通常做的,但源代码中似乎没有表格。我将如何在此页面上拉主表?

from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
import requests

url = 'https://markets.ft.com/data/director-dealings'
site = requests.get(url)

soup = BeautifulSoup(site.content, 'html.parser')
table = soup.find('table')

print(table)

我也不知道如何遍历表格,所以如果你能给我一些指示,我也将不胜感激。

谢谢!

标签: pythonbeautifulsoup

解决方案


获取表格后,将表格的 HTML 标记定义为字典dict或列表list,例如“tablex”,然后您可以执行以下操作

for x in tablex:
    #x represents each item from the table
    print(x)

推荐阅读