时间戳

首页 > 解决方案 > 网页抓取问题

python - 网页抓取问题

问题描述

我正在尝试在PyCharm中编写一个程序（我以前没有使用过这个 IDE，但我认为这不是问题）我无法从某个类中收集数据，“react-contextmenu-wrapper "

我想编写一个脚本来解析 Spotify 上的网页并使用数据创建一个 CSV 文件，我一直在关注 YouTube 上的教程，但我一定在某个地方出错了。

这是我的代码：

from urllib.request import urlopen as Req
from bs4 import BeautifulSoup as soup

my_url = "https://open.spotify.com/genre/NMF-PopularNewReleases"

#grabs the contense of the page
Client = Req(my_url)

#reads the contense of the page
html = Client.read()

#outputs the page
Client.close()

page = soup(html, "html.parser")

#grabs each playlist
playlists = page.findAll("div",{"class":"react-contextmenu-wrapper"})

print(len(playlists))

但是终端输出一个空列表，我知道该类存在。当我检查页面的元素时，我可以查看它。

标签： pythonhtmlweb-scraping

解决方案

元素的类被命名这一事实react-contextmenu-wrapper是一个很大的提示。React 是一个用于创建用户界面的 JavaScript 库。

有不同的方式可以用元素填充网页。如果你很幸运，那么服务器会向你发送一个.html包含所有基本内容的消息 - 这对于使用 BeautifulSoup 进行抓取和解析来说是微不足道的。

然而，许多现代网站动态地填充网页的元素，例如使用 JavaScript。当您在浏览器中查看这样的页面时，这没有问题 - 但如果您尝试抓取这样的页面，您最终会得到“bare bone”模板.html，其中 DOM 尚未完全填充。这就是 BeautifulSoup 看不到这个元素的原因。

关键是：仅仅因为您可以在浏览器中看到一个元素，并不意味着 BeautifulSoup 就能看到它。

每当你想抓取一个网页时，你的首选武器不应该是 BeautifulSoup，在我看来——你应该使用 BeautifulSoup 作为最后的手段。您应该始终做的第一件事是检查您正在抓取的页面是否向 API 发出任何请求，其响应用于填充自身。如果是这样，您可以简单地模仿对同一 API 的请求，并获取您可能想要抓取的所有内容。好像这还不够好，这些 API 通常提供 JSON，解析起来很简单。

这是你如何做到的：

  1. 在浏览器中打开网页。
  2. 如果您使用的是 Google Chrome，请按F12键访问开发者工具（其他现代浏览器应该有类似的功能。）
  3. 打开“网络”选项卡。我们将使用 Chrome 的网络记录器来记录网页发出的所有请求。
  4. 单击漏斗形图标（激活时变为红色）以启用过滤。
  5. 单击 XHR（这意味着仅查看 XMLHttpRequests。这些是我们感兴趣的请求类型，因为我们希望查看对 API 的潜在传出请求 - 我们对捕获对图像等资源发出的请求不感兴趣）
  6. 按下Ctrl + E或单击左上角的圆形记录按钮以启用记录（激活时此按钮也会变为红色。）
  7. 按Ctrl + R刷新页面并开始记录流量。
  8. 您应该会看到请求列表在刷新后随着页面加载而增长。它看起来像这样（对不起，大图）：
  9. 就我而言，Spotify 在我记录流量期间发出了 9 个 XHR 请求（在左侧）。我点击了其中的一些并检查了他们的“标题”选项卡，直到我找到一个具有“请求 URL”的选项卡，看起来它正在与 API 对话（在这种情况下，“api”是 URL 的一部分。）

是时候使用requests. 您需要复制“请求 URL”，并确保复制一些看起来对请求也很重要的“请求标头”：

import requests

url = "https://api.spotify.com/v1/views/NMF-PopularNewReleases?timestamp=2020-03-22T14%3A26%3A36.760Z&platform=web&content_limit=10&limit=20&types=album%2Cplaylist%2Cartist%2Cshow%2Cstation&image_style=gradient_overlay&country=us&market=us&locale=en"

headers = {
    "Authorization": "Bearer BQDJeAA33JWAC_pQVUxoPpama63RFFIsovMjNOjq_odaPx9EfyMz1Bo494Xv4a20H9gM7Hu0OYZrO3QWs2E"
}

response = requests.get(url, headers=headers)
response.raise_for_status()

data = response.json()

for item in data["content"]["items"]:
    print(item["name"])

当我运行这个脚本时，我得到以下输出：

New Music Friday
After Hours
Colores
kelsea
Actions
Kid Krow
Walk Em Down (feat. Roddy Ricch)
Studio It’s Hits
Intentions (Acoustic)
Creep
Is Everybody Going Crazy?
2 Seater (feat. G-Eazy & Offset)
Roses/Lotus/Violet/Iris
Spotify Singles
Between Us (feat. Snoh Aalegra)
E.P.
Black Men Don’t Cheat (feat. Ari Lennox, 6LACK & Tink)
Think About You
Pray 4 Love
Acrobats
>>>

随意检查 API 返回的 JSON 对象 - 您可以在 Python 中执行此操作，也可以通过从 Chrome 开发人员工具中的“标题”选项卡切换到“预览”选项卡来查看 JSON 的内容。在我的示例中，我只是在首页提取歌曲的标题，但 JSON 对象包含更多有趣的内容。您还可以使用 URL 查询字符串中的参数来抓取 20 多首歌曲等。

推荐阅读