web-scraping - 我该如何解决这个问题，它不返回文本？

Question

我正在抓取 https://cadres.apec.fr/home/mes-offres/recherche-des-offres-demploi/liste-des-offres-demploi.html?motsCles=commercial&sortsType=SCORE&sortsDirection=DESCENDING&lieux=590711 这个网站，我在提取文本时遇到问题。

我尝试了各种方法但徒劳无功

import scrapy
from scrapy_splash import SplashRequest


class QuotesSpider(scrapy.Spider):
    name = "hi"
    start_urls = [
        'https://cadres.apec.fr/home/mes-offres/recherche-des-offres-demploi/liste-des-offres-demploi.html?motsCles=commercial&sortsType=SCORE&sortsDirection=DESCENDING&lieux=590711'
    ]

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url=url, callback=self.parse)

    def parse(self, response):
        name = response.css('span.offre.intitule::text').extract()
        list = {"Name":name}
        yield list

任何人都可以调查并帮助我吗？

标签： web-scrapingscrapyscrapy-splash

Answer 1

我认为您的 css 选择器是错误的，因为您使用offre.intitule的是bo-text属性的值。所以也许是这样的：

response.css('[bo-text="offre.intitule"]::text').extract()