首页 > 解决方案 > Scrapy 试图在自由职业者处填写登录表单

问题描述

我正在尝试使用 Scrapy登录网站,然后进入main。我已经为其他网站成功地做到了这一点,但我不确定为什么这次不起作用。

我正在使用这个蜘蛛。

import scrapy

class LoginSpider(scrapy.Spider):
    name = 'free'
    allowed_domains=["freelancer.es"]
    start_urls = ['https://www.freelancer.es/login']

    def parse(self, response):
        return scrapy.FormRequest.from_response(
            response,
            formname = 'LoginForm',
            formdata = {'username': 'username', 'password': 
                'password'}, 
            callback=self.after_login
    )

    def after_login(self, response):
        # check login succeed before going on
        x = response.xpath('//html/title/text()')
        print x

之后,如果我想在我的“after_login”函数中添加一些代码行,就不会写出我期望的那样。此页面没有 csrf 令牌,formdata 仅获取用户和密码。

这是我的命令提示符的部分图像。

标签: pythonweb-scrapingscrapy

解决方案


推荐阅读