python - 使用Python进行网络抓取时如何删除熊猫数据框中的字符?
问题描述
我正在尝试通过使用 Python 3 将本网站的表格从网站抓取到 .csv 文件中: 2011-2012 NBA National Schedule
该表开始如下:
Revised Schedule Original Schedule
Date Time Game Net Time Game Net
Sun., 12/25/11 12 PM BOS (1) at NY (1) TNT 12 PM BOS (7) at NY (7) ESPN
Sun., 12/25/11 2:30 PM MIA (1) at DAL (1) ABC 2:30 PM MIA (8) at DAL (5) ABC
Sun., 12/25/11 5 PM CHI (1) at LAL (1) ABC 5 PM CHI (6) at LAL (9) ABC
Sun., 12/25/11 8 PM ORL (1) at OKC (1) ESPN no game no game no game
Sun., 12/25/11 10:30 PM LAC (1) at GS (1) ESPN no game no game no game
Tue., 12/27/11 8 PM BOS (2) at MIA (2) TNT no game no game no game
Tue., 12/27/11 10:30 PM UTA (1) at LAL (2) TNT no game no game no game
我只对修改后的时间表感兴趣,即前 4 列。我想要的 .csv 文件中的输出如下所示:
我正在使用这些软件包:
import re
import requests
import pandas as pd
import numpy as np
from bs4 import BeautifulSoup
from itertools import groupby
这是我为匹配我想要的格式所做的代码:
df = pd.read_html("https://www.sportsmediawatch.com/2011/12/revised-2011-12-nba-national-tv-schedule/", header=0)[0]
revisedCols = ['Date'] + [ col for col in df.columns if 'Revised' in col ]
df = df[revisedCols]
df.columns = df.iloc[0,:]
df = df.iloc[1:,:].reset_index(drop=True)
# Format Date to m/d/y
df['Date'] = np.where(df.Date.str.startswith(('10/', '11/', '12/')), df.Date + ' 11', df.Date + ' 12')
df['Date']=pd.to_datetime(df['Date'])
df['Date']=df['Date'].dt.strftime('%m/%d/%Y')
# Split the Game column
df[['Away','Home']] = df.Game.str.split('at',expand=True)
# Final dataframe with desired columns
df = df[['Date','Time','Away','Home','Net']]
df.columns = ['Date', 'Time', 'Away', 'Home', 'Network']
print(df)
输出:
Date Time Away Home Network
0 12/25/2011 12 PM BOS (1) NY (1) TNT
1 12/25/2011 2:30 PM MIA (1) DAL (1) ABC
2 12/25/2011 5 PM CHI (1) LAL (1) ABC
3 12/25/2011 8 PM ORL (1) OKC (1) ESPN
4 12/25/2011 10:30 PM LAC (1) GS (1) ESPN
5 12/27/2011 8 PM BOS (2) MIA (2) TNT
6 12/27/2011 10:30 PM UTA (1) LAL (2) TNT
我注意到 Away 和 Home 列中每个团队名称旁边都有 (1)、(2) 等。如何实施刮板以删除 Away 和 Home 列中每个团队名称旁边的 (1)、(2) 等?
解决方案
您可以使用str.replace
括号和数字,而且str.strip
在开头或结尾似乎有一些空格:
df['Away'] = df['Away'].str.replace('\(\d*\)', '').str.strip()
df['Home'] = df['Home'].str.replace('\(\d*\)', '').str.strip()
print (df.head())
Date Time Away Home Network
0 12/25/2011 12 PM BOS NY TNT
1 12/25/2011 2:30 PM MIA DAL ABC
2 12/25/2011 5 PM CHI LAL ABC
3 12/25/2011 8 PM ORL OKC ESPN
4 12/25/2011 10:30 PM LAC GS ESPN
推荐阅读
- android - Android 12 - 使用启动画面 api setSplashScreenTheme 覆盖默认启动画面徽标失败
- c++ - c ++无法在终端中获得输出
- pyarrow - 从单个箭头文件中读取多个表
- spring-boot - springboot版本升级后应用程序日志不遵循logging.pattern.level
- python - Python OpenGL VAO - 如何为顶点和颜色数据使用单独的数组
- python - 为什么不能用它的键调用字典的值?
- java - 雪花无法显示/解释 unicode '\u0089'
- file - 如何在 Go 中使用文本编辑器打开文件?
- python - 从列表理解中解包嵌套循环
- python - 如何在 tkinter 中正确使用网格