时间戳

首页 > 解决方案 > 多个请求的网关超时 504。阿帕奇

php - 多个请求的网关超时 504。阿帕奇

问题描述

我在本地有一个 XML 文件。它包含来自市场的数据。它大致看起来像这样：

<offer id="2113">
    <picture>https://anotherserver.com/image1.jpg</picture>
    <picture>https://anotherserver.com/image2.jpg</picture>
</offer>
<offer id="2117">
    <picture>https://anotherserver.com/image3.jpg</picture>
    <picture>https://anotherserver.com/image4.jpg</picture>
</offer>
...

我想要的是将这些图像保存在<picture>节点本地。

大约有9,000 个报价和大约14,000 张图像。

当我遍历它们时，我看到图像正在从另一台服务器复制，但在某些时候它给出了504 Gateway Timeout.

问题是有时会在 2,000 张图像之后或多或少地给出错误。

我尝试从该服务器（即仅https://anotherserver.com/image3.jpg）仅获取一个图像 12,000 次，但它仍然给出了相同的错误。

正如我所读到的，另一台服务器在一定数量后阻止了我的请求。

我尝试PHP sleep(20)在每 100 张图像后使用，但它仍然给了我同样的错误（sleep(180) - same）。当我尝试本地图像但使用完整路径时，它没有给出任何错误。尝试了第二台服务器（非本地）同样的事情发生了。

我使用PHP copy()函数从该服务器移动图像。我刚刚用于file_get_contents()测试目的，但得到了同样的错误。

我有

set_time_limit(300000);
ini_set('default_socket_timeout', 300000);

也一样，但没有运气。

有没有办法在不分块请求的情况下做到这一点？

此错误是否发生在某个图像上？如果可以做到这一点，捕捉这个错误或者只是跟踪响应延迟以在一段时间后发送另一个请求会很好吗？

为了让这些请求滚动，我必须等待几秒钟的恒定时间吗？

如果可能的话，请给我非卷曲的答案。

更新

Curl 和 exec(wget) 也不能正常工作。他们都犯了同样的错误。

可以调整远程服务器使其不会阻止我吗？（如果是的话）。

ps 如果我这样做：echo "<img src = 'https://anotherserver.com/image1.jpg'" />在所有 12,000 张图像的循环中，它们显示得很好。

标签： phpxmlhttp-status-code-504

解决方案

由于您正在访问您无法控制的服务器上的内容，因此只有服务器管理员知道阻止规则。

但是您有几个选择，如下所示：

  • 运行 1000 个左右的批次，然后睡几个小时。
  • 在请求信息的计算机之间拆分请求。
  • 甚至像每 1000 张左右的图像更改请求的用户代理信息这样简单的事情也足以绕过阻塞机制。
  • 或以上所有内容的某种组合。

推荐阅读