python - 用 Python 和 Beautiful Soup 分割抓取的文本
问题描述
我已经从这个网站上刮掉了时间表。我得到的输出是:
"ROUTE": "NAPOLI PORTA DI MASSA \u00bb ISCHIA"
但我想:
"DEPARTURE PORT": "NAPOLI PORTA DI MASSA"
"ARRIVAL PORT": "ISCHIA"
我如何划分字符串?这是代码:
medmar_live_departures_table = list(soup.select('li.tratta'))
departure_time = []
for li in medmar_live_departures_table:
next_li = li.find_next_sibling("li")
while next_li and next_li.get("data-toggle"):
if next_li.get("class") == ["corsa-yes"]:
# departure_time.append(next_li.strong.text)
medmar_live_departures_data.append({
'ROUTE' : li.text
})
解决方案
两件事情,
1.由于“»”是一个非ascii字符,python返回非ascii字符,如“\u00bb”,因此通过用非ascii代码分割文本来解析字符串,如下所示:
parse=li.get_text().split('\u00bb')
此外,您可以像这样使用 re 库来解析非 ascii 字符(如果选择此路径,则需要添加 re 库):
import re
non_ascii = li.get_text()
parse = re.split('[^\x00-\x7f]', non_ascii)
#[^\x00-\x7f] will select non-ascii characters as pointed out by Moinuddin Quadri in https://stackoverflow.com/questions/40872126/python-replace-non-ascii-character-in-string
然而,通过这样做,python 将从解析中创建一个部分列表,但并非“li”html 标记中的所有文本都带有“»”字符(即,在表格末尾的文本“POZZUOLI-PROCIDA”)网站)所以我们必须考虑到这一点,否则我们会遇到一些问题。
2.字典可能是一个糟糕的数据结构选择,因为您正在解析的数据将具有相同的键。
例如,POUZOULI » CASAMICCIOLA 和 POUZOULI » PROCIDA。COSMICCIOLA 和 PROCIDA 将具有相同的密钥。Python 将简单地覆盖/更新 POUZZOULI 键的值。所以 POUZZOULI: CASAMICCIOLA 将变为 POUZZOULI: PROCIDA 而不是添加 POUZZOULI: CASAMICCIOLA 作为字典条目和 POUZZOULI: PROCIDA 作为另一个字典条目。
我建议将解析的每个部分作为元组添加到列表中,如下所示:
single_port= []
ports=[]
medmar_live_departures_table = list(bs.select('li.tratta'))
departure_time = []
for li in medmar_live_departures_table:
next_li = li.find_next_sibling("li")
while next_li and next_li.get("data-toggle"):
if next_li.get("class") == ["corsa-yes"]:
# departure_time.append(next_li.strong.text)
non_ascii = li.get_text()
parse = re.split('[^\x00-\x7f]', non_ascii)
# The if statement takes care of table data strings that don't have the non-ascii character "»"
if len(parse) > 1:
ports.append((parse[0], parse[1]))
else:
single_port.append(parse[0])
# This will print out your data in your desired manner
for i in ports:
print("DEPARTURE: "+i[0])
print("ARRIVAL: "+i[1])
for i in single_port:
print(i)
我还在我运行的测试代码中使用了 split 方法:
import requests
from bs4 import BeautifulSoup
import re
url="https://www.medmargroup.it/"
response=requests.get(url)
bs=BeautifulSoup(response.text, 'html.parser')
timeTable=bs.find('section', class_="primarystyle-timetable")
medmar_live_departures_table=timeTable.find('ul')
single_port= []
ports=[]
for li in medmar_live_departures_table.find_all('li', class_="tratta"):
parse=li.get_text().split('\u00bb')
if len(parse)>1:
ports.append((parse[0],parse[1]))
else:
single_port.append(parse[0])
for i in ports:
print("DEPARTURE: "+i[0])
print("ARRIVAL: "+i[1])
for i in single_port:
print(i)
我希望这有帮助!
推荐阅读
- javascript - 单击按钮时发送行数据?
- android - 类型错误:cb.apply 不是函数
- python - 使用 Selenium Python 下载 CSV 文件导致 ElementClickInterceptedException
- c++ - C++ 执行顺序和增量状态
- python - Django:get_context_data(self, **kwargs) 中的 **kwargs 参数是什么?
- ios - 将 API 数据存储到 UserDefaults 并打印到列表
- android - 如何在 android MPAndroidChart 的图形中间删除更强的线
- javascript - 如何将使用组合参数 (latlong) 的函数重写为具有单独参数、纬度和经度的函数?
- android - 处理片段中所有类型响应的通用方法
- r - 重新启动和清除工作区后的异常行为可能与 R 和 RStudio 更新有关