时间戳

首页 > 解决方案 > Beautifulsoup 和 Panda - 帮助修改多页代码

python - Beautifulsoup 和 Panda - 帮助修改多页代码

问题描述

所以我写了这段代码来从网站上抓取数据。

import requests
from bs4 import BeautifulSoup
import re

page = requests.get('https://sofifa.com/shortlist/32931')
soup = BeautifulSoup(page.text, 'html.parser')
dados = soup.find_all('a', href=re.compile("/player/"))
capa = soup.find('article')
capa1 = capa.find('div' , {'class': 'card card-border mb-2 fixed-width'})
time = capa1.find('div' , {'class': 'card-title h5'}).string

records = []
for nomes in dados:
    nome = nomes.string
    records.append((nome))

import pandas as pd
from openpyxl import load_workbook

book = load_workbook('Tabela Pipoco 2019.xlsx')
writer = pd.ExcelWriter('Tabela Pipoco 2019.xlsx', engine='openpyxl')
writer.book = book
writer.sheets = dict((ws.title, ws) for ws in book.worksheets)
df = pd.DataFrame(records, columns=[time])
df.to_excel(writer, "Times", index=False, encoding='utf-8', startcol=0)
writer.save()

问题是我想用 10 个不同的页面来制作这个！由于缺乏知识，我在 jupyter notebook 上写了 10 个不同的代码并全部运行。

代码中唯一改变的是这两行：

page = requests.get('https://sofifa.com/shortlist/32931')

和

df.to_excel(writer, "Times", index=False, encoding='utf-8', startcol=0)

因此，在第一行，我们将用特定数字（32931、32882、32589）等更改结束数字。

在第二行，改变的是startcol=，那将是（第一页为 0，第二页为 3，第三页为 6，依此类推）

我如何在单个代码上加上薄薄的东西？

谢谢你们

标签： pythonpandasbeautifulsoup

解决方案

当您编写相同的代码 3 次时，编写一个函数 (c) David Robinson

您可以使用带有两个参数的函数包装代码：url和startcol，然后在循环中针对不同的输入调用此函数。例如：

# Define a function
def your_func_to_avoid_writing_the_same_code_ten_times(url, col):
    page = requests.get(url)  
    # ... missed code for better formatting
    df.to_excel(writer, "Times", index=False, encoding='utf-8', startcol=col)
    writer.save()

url_list = ['https://sofifa.com/shortlist/32931', 'https://sofifa.com/shortlist/32882'] # And so on

# Initialize columns counter
col = 0
# Call the function and update the column
for i in range(len(url_list)): 
    print(your_func_to_avoid_writing_the_same_code_ten_times(url_list[i], col))
    col += 3

推荐阅读