时间戳

首页 > 解决方案 > 从网站上的表单中交互式抓取数据

python - 从网站上的表单中交互式抓取数据

问题描述

我对报废和一般的python都是新手。我有自己的任务。实际上我需要从表单中提取一些数据。我已经学会了如何从 HTML 元素中提取数据，但这对我来说有点棘手。任务应该如下所示：
1. 我需要登录网站
2. 转到特定的 URL
3. 然后我需要以某种方式从表单中提取所有数据 出现
问题是因为在选择前一个下拉按钮时会显示下一个下拉按钮的数据。这是一张显示站点外观和旁边源代码的图片。

标签： pythonseleniumweb-scrapingbeautifulsoupscrapy

解决方案

    import scrapy

class AutoscoutSpider(scrapy.Spider):
    name = 'autoscout'
    allowed_domains = ['autoscout24.de']
    login_url = 'https://angebot.autoscout24.de/login?fromNavi=myAS24'
    start_urls = [login_url]

    def parse(self, response):
        token = response.css('input[name="__RequestVerificationToken"]::attr(value)').extract_first()
        podaci = {
        '__RequestVerificationToken' : token,
        'Username': '*********',
        'Password' : '********',
        }
        pass

这是我到目前为止所做的，我刚刚开始再次制作蜘蛛。我正在使用scrapy框架

推荐阅读