apache-spark - 从 spark 分发存档下载通常很慢吗？

Question

我试图从网站下载 spark-hadoop 发行版 - https://archive.apache.org/dist/spark/spark-3.1.2/。我经常发现这个站点的下载速度通常很慢。是由于网站本身的一些普遍问题吗？

我已经通过两种方式验证了下载速度很慢 -

• 在 Colab 中，我运行了!wget -q https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz经常运行超过 10 分钟的命令。而在其他时候，它会在 1 分钟内执行。
• 从网站我尝试下载它，即使这样下载速度偶尔也会非常慢。

标签： apache-sparkpyspark

Answer 1

可能是因为

• 您多次下载
• 您从非浏览器下载，例如 curl/wget
• 您的位置远离文件服务器或网络不稳定。
• 或者是其他东西。例如文件服务器很慢

我认为大多数公共服务器都有一种“安全卫士”来防止 DDoS，所以他们的“安全卫士”控制每秒的下载流量。我遇到了类似的问题，当我从浏览器下载时，花了 1 分钟，但是当我使用 curl 时花了 10 分钟