python - 有没有办法 24/7 监控页面，当有更新时，加载新内​​容

Question

我想加载/检查已加载到页面部分的新内容。有些页面一直在更新，但我想要的部分只在几个小时或几分钟内更新一次。虽然，没有人知道什么时候会有新的内容上传到那个部分。这可能会 24/7 发生。我想要完成的是每当有新内容上传到该部分时，立即执行某些操作（在这种情况下，进入链接并加载页面）。到目前为止，我唯一能想到的就是尽可能频繁地检查页面的该部分，即。每 30 秒，每分钟。但是，我想查看数千页（大约 6000 页）。我认为这不是一种理想的方式，更不用说对于我想要的频率是否可行。

我只是想知道是否有一种方法可以做到这一点，而无需让我的机器人每分钟为每一页抓取一次？

标签： pythonweb-scrapingscrapy

Answer 1

不，这里没有魔法咒语。网页没有“通知”选项。如果您想要该信息，则需要轮询该信息。是的，这将是浪费，这就是为什么你应该问自己为什么要这样做。