时间戳

首页 > 解决方案 > 想要抓取所有成员的个人资料链接以获取成员详细信息

python - 想要抓取所有成员的个人资料链接以获取成员详细信息

问题描述

from bs4 import BeautifulSoup
import requests
r = requests.get('http://medicalassociation.in/doctor-search')
soup = BeautifulSoup(r.text,'lxml')

link = soup.find('table',{'class':'tab-gender'})
link1 = link.find('tbody')
link2 = link1.find('tr')[3:4]
link3 = link2.find('a',class_='user-name')
print link3.text

未通过此代码获取链接。我想取出查看个人资料链接

标签： pythonweb-scrapingbeautifulsoup

解决方案

Request.get()渲染 javascripts 并且看不到任何元素。您可以使用WebDriver并获取page_source然后获取信息。

from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://medicalassociation.in/doctor-search")
soup = BeautifulSoup(driver.page_source,'html.parser')

for a in soup.find_all('a',class_="user-name"):
    if a.text is not None :
       print(a['href'])

推荐阅读