首页 > 解决方案 > 使用 Beautifulsoup 抓取 Youtube 推荐:结果是否具有个性化倾向?

问题描述

YouTube 的“推荐视频”基于 cookie 或帐户历史的观看历史(即个性化)。

使用beautifulsoup抓取推荐视频时,是否有个性化?

注意:beautifulsoup“推荐视频”在我手动搜索时与我自己的不匹配,提示我自己的个性化不影响结果。但是其他一些个性化是否会影响结果?

import urllib.request
from bs4 import BeautifulSoup


goto = "https://www.youtube.com/watch?v=dQw4w9WgXcQ"
body = urllib.request.urlopen(goto)
soup = BeautifulSoup(body, from_encoding=body.info().get_param('charset'))
recommended_urls =[]
for link in soup.find_all('a', href=True):
    if "/watch?" in link['href']:
        recommended_urls.append(link['href'])
list(set(recommended_urls))

标签: python-3.xbeautifulsoupyoutubepersonalization

解决方案


推荐阅读