时间戳

首页 > 解决方案 > 我正在尝试对网站进行网络抓取，当我尝试将其转换为 csv 文件时，数据不会进入正确的列

python - 我正在尝试对网站进行网络抓取，当我尝试将其转换为 csv 文件时，数据不会进入正确的列

问题描述

我是网络抓取的新手，为了练习，我正在尝试抓取一个网站并将结果转换为 csv 文件。当我来到将结果转换为 csv 文件的部分时，它并没有将地址放在地址列中。我希望数据进入地址列。代码如下。

from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup

my_url = 'https://www.allagents.co.uk/find-agent/london/'

uClient = uReq(my_url)

page_html = uClient.read()

uClient.close()

page_soup = soup(page_html, 'html.parser')

containers = page_soup.findAll('div', {'class':'itemlabel3'})

filename = "webscrape.csv" 

f = open(filename, "w")

headers = "Company Name, Address, Telephone Number\n"

f.write(headers)

for container in containers:
    comp_name   = container.find('div', {'class':'labelleft2 col-md- 
10'}).div.h4.a.text

    address     = container.find('div', {'class':'labelleft2 col-md- 
   10'}).div.p.text

    tel         = container.find('div', {'class':'labelleft2 col-md- 
   10'}).div.find('p', {'style':'clear: both; margin-bottom: 
15px;'}).strong.text

    print("Company Name:", comp_name)
    print("Address:", address)
    print("Telephone", tel)

    f.write(comp_name.replace(",", ("|")) + "," + address.replace(",", ("|")) + 
"," + tel + "\n")

f.close()

任何帮助表示赞赏。提前谢谢你。

标签： pythonweb-scrapingbeautifulsoup

解决方案

似乎在您的地址数据中存在换行符

尝试在您的代码中替换以下行以获取地址并尝试再次运行

address=(container.find('div', {'class':'labelleft2 col-md-10'}).div.p.text).replace('\n','')

推荐阅读