时间戳

首页 > 解决方案 > 脸书刮刀

python - 脸书刮刀

问题描述

我正在尝试从这个 facebook 个人资料中抓取帖子和图片；https://www.facebook.com/carlostablanteoficial并在尝试使用此代码到达实际帖子文本时一无所获：

from urllib.request import urlopen
import requests 
from bs4 import BeautifulSoup

html = urlopen("https://www.facebook.com/carlostablanteoficial")

res = BeautifulSoup(html.read(),"html5lib");
resdiv = res.div
post = resdiv.findAll('div', class_='text_exposed_root')
print(post)

标签： pythonfacebookscreen-scraping

解决方案

这将返回许多结果：

import requests
from bs4 import BeautifulSoup

data = requests.get("https://www.facebook.com/carlostablanteoficial")
soup = BeautifulSoup(data.text, 'html.parser')

for div in soup.find_all('div'):
    print(div)

要搜索特定类，请将循环更改为：

for div in soup.find_all('div', {'class', 'text_exposed_root'}):
    print(div)

但是当我尝试时它什么也没返回，这意味着页面上没有该类的 div

推荐阅读