时间戳

首页 > 解决方案 > 我正在尝试使用 Scrapy 抓取数据

python-3.x - 我正在尝试使用 Scrapy 抓取数据

问题描述

我正在尝试从 pewdiepie 频道获取所有视频链接。我写了下面的代码，它没有显示任何错误，但它没有抓取链接。

这是代码：

import scrapy
from scrapy.crawler import CrawlerProcess

class PewSpider(scrapy.Spider):
   name = "pew_spider"
   def start_request(self):
      urls = ['https://www.youtube.com/user/PewDiePie/videos'] 
      for url in urls:
        yield scrapy.Request(url=url, callback=self.parser)

   def parser(self, response):
      links = response.css('div#contents > a#thumbnail::attr(href)')
      filepath = "./Desktop/pew.csv"
      with open(filepath, 'w') as f:
         f.writelines( [link + '/n' for link in links])

process = CrawlerProcess()
process.crawl(PewSpider)
process.start()

标签： python-3.xweb-scrapingscrapyweb-crawler

解决方案

我想你应该先看看 YouTube API，然后再从网站上抓取它。https://developers.google.com/youtube/v3

推荐阅读