时间戳

首页 > 解决方案 > 无法在单独的方法中同时打印三个字段

python - 无法在单独的方法中同时打印三个字段

问题描述

我创建了一个蜘蛛来从网站上获取不同项目的名称、描述和状态。蜘蛛可以从一个地方抓取名称和描述，但它必须去同一站点的另一个地方才能获取状态。

以下是代表如何手动完成整个事情的步骤，这也有助于理解脚本的构建逻辑。

  1. 导航到此链接并从此处解析idsand 。links connected to ids
  2. 使用ids生成所需状态可用的 json 响应。
  3. 使用links connected to ids解析内页中的名称和描述，如本文所示。

只要蜘蛛以两种不同的方法fetch_status()和fetch_content().

到目前为止，我已经尝试过：

import json
import scrapy
import urllib
from bs4 import BeautifulSoup

class OmronSpider(scrapy.Spider):
    name = 'omron'
    start_urls = ['https://industrial.omron.de/de/products/nyb']
    status_url = 'https://industrial.omron.de/en/api/product_lifecycle_management/search?'

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
        'Accept': '*/*'
    }

    def parse(self, response):
        soup = BeautifulSoup(response.text,"lxml")
        for item in soup.select("table.details > tbody > tr.filtered > td.product-name a"):
            product_id = item.get_text(strip=True)

            product_url = response.urljoin(item.get("href"))
            yield scrapy.Request(product_url,headers=self.headers,callback=self.fetch_content)

            params = {'q': product_id}
            req_url = f'{self.status_url}{urllib.parse.urlencode(params)}'
            yield scrapy.Request(req_url,headers=self.headers,callback=self.fetch_status)

    def fetch_status(self, response):
        item = json.loads(response.text)['data']
        if item:
            yield {"status":item[0]['status']}
        else:
            yield {"status":None}

    def fetch_content(self, response):
        soup = BeautifulSoup(response.text,"lxml")
        product_name = soup.select_one("header.page-width > h1").get_text(strip=True)
        description = soup.select_one(".content > p").get_text(strip=True)
        yield {"product_name":product_name,"description":description}

如何打印三个字段，如product_name，description同时status可能在单独的方法中？

标签： pythonpython-3.xweb-scrapingscrapy

解决方案

您可以使用 将数据从一个回调传递到另一个回调cb_kwargs。特别是针对您的情况，您希望将已解析的数据 ( product_nameand description) 传递给您的fetch_status方法。

下面是一个示例（在测试中我看到status总是None不确定是否需要进一步调试）。

我改变了一些额外的东西：

  • 使用内置TextResponse.css方法选择内容而不是使用BeautifulSoup（bs4如果您感觉更舒服，可以使用，但scrapy有您需要的本示例）
  • 使用Response.follow而不是手工制作 new Request（有一些优点，例如可以Selector像我在parse方法中所做的那样直接取 a ）
  • 用于TextResponse.json反序列化 json（只是一个快捷方式，而不是导入json模块）
import scrapy
import urllib


class OmronSpider(scrapy.Spider):
    name = "omron"
    start_urls = ["https://industrial.omron.de/de/products/nyb"]
    status_url = (
        "https://industrial.omron.de/en/api/product_lifecycle_management/search?"
    )

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36",
        "Accept": "*/*",
    }

    def parse(self, response):
        for item in response.css("td.product-name a"):
            yield response.follow(item, callback=self.fetch_content)

    def fetch_content(self, response):
        parsed_data = {
            "product_name": response.css("header.page-width > h1::text").get(),
            "description": response.css(".content > p::text").get(),
        }

        params = {"q": parsed_data["product_name"]}
        yield response.follow(
            f"{self.status_url}{urllib.parse.urlencode(params)}",
            callback=self.fetch_status,
            cb_kwargs=dict(parsed_data=parsed_data),
            headers=self.headers,
        )

    def fetch_status(self, response, parsed_data):
        item = response.json()["data"]
        status = item[0]["status"] if item else None
        yield {**parsed_data, "status": status}

推荐阅读