python - 使用 Scrapy 返回 Google 桌面版本

Question

我怎样才能获得带有 Scrapy 的 Google 桌面版？

问题是这样的：当你抓取到谷歌时，它会返回移动版本。所以，我设置了一个用户代理，但现在返回一个奇怪的 html，就像移动版本一样。

import scrapy

class Searcher(scrapy.Spider):
    name='rast'
    start_urls=[
        'https://google.com/search?q=lawyers'
    ]
    user_agent='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'

    def parse(self, response):
        data={}

        body=response.css('div').getall()
        
        data['body']=body
        
        yield data

使用 Selenium/Requests，这很容易，但我读到，抓取网站的正确方法是使用Scrapy。

顺便说一句，我需要桌面版的原因是因为谷歌给了一些粗体术语，称为关键字的变体。

谢谢！

标签： pythonscrapy