时间戳

首页 > 解决方案 > 如何从 Upwork 网站上抓取 Job 类别及其子类别？

python - 如何从 Upwork 网站上抓取 Job 类别及其子类别？

问题描述

朋友们

我试图在 Pyhton 中使用 BeautifulSoup从以下链接中抓取类别和子类别。

但我无法刮掉它一直给我空白列表

我尝试了以下方法：

首先，我尝试从以下方法中仅抓取一个类别，但它给出了空白输出

soup.find('h3',{"class":"m-t-40"})

我试图刮掉所有类别，但它仍然给我空白输出

soup.find_All('h3',{"class":"m-t-40"})

谁能告诉我如何从这个链接中抓取？

提前致谢

标签： pythonweb-scraping

解决方案

你可以使用硒

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('/usr/local/bin/chromedriver')
driver.get('https://www.upwork.com/i/freelancer-categories-all/')

soup = BeautifulSoup(driver.page_source, 'html.parser')

for section in soup.find_all('section'):
    h3 = section.find('h3', {'class': 'm-t-40'})
    if h3:
        print(h3.text)
        lis = section.find_all('li')
        for li in lis:
            print(li.text.strip())

输出

Web, Mobile & Software Dev

All Web, Mobile & Software Dev
Ecommerce Development

# And many others

推荐阅读