web-scraping - 查询多个网页以获取网店的所有产品？
问题描述
出于个人兴趣，我想创建一个包含网上商店所有产品的列表。在德国有两家大公司，分别叫做“Media Markt”和“Saturn”。“Media Markt”的系统很简单，他们使用一个 7 位数字作为他们产品的 ID。所以我想获得所有这些产品，但我认为在短时间内在 12 个线程中执行 1000 万个请求（我的 PC 有 12 个内核）会使服务器不堪重负，或者让服务器在短时间内忽略我的请求。我该怎么做才能获得包含所有产品的列表？我很感谢任何想法。
解决方案
推荐阅读
- sql - Redshift，查找每个项目的级别分布（每个级别的项目总数）
- python - “搁置”只是“dbm”和“pickle”的组合吗？
- r - 如何在R中同时使用多个前缀的startsWith和str_length
- python - 在文件中逐行打印项目列表
- r - 未使用的参数 ngram
- python - 如何动态地将列分配给 PyTables IsDescription 类？
- matlab - 如何在Matlab中找到正轴的平均峰值
- go - Go ticker 示例不选择“完成”案例？
- php - Symfony 4. 通过 LDAP 授权。如何自定义AuthenticationProvider？
- node.js - 在 Node js 应用程序中导入 Mongoose 模式无法正常工作