web-scraping - “requests.get”不保存有用的 youtube 链接

Question

我正在尝试运行requests.get()以保存一组 youtube 播放列表，但不知何故它不起作用。

import pandas as pd
import numpy as np
import re
import time
import bs4 as bs4
import json
import requests as rq

queries = ["machine+learning", "data+science", "kaggle"]
url = "https://www.youtube.com/results?search_query={query}&sp=CAI%253D&p={page}"

for query in queries:
    for page in range(1,21):
        urll = url.format(query=query, page=page)
        print(urll)
        response = rq.get(urll)
        
        with open("./dados_brutos/{}_{}.html".format(query,page), 'w+') as output:
            output.write(response.text)
        time.sleep(2)

保存页面效果很好，但是当我尝试在浏览器中加载页面时，出现页面标题（Youtube），但没有显示任何信息。

有什么建议么？

标签： web-scraping