url - 如何在不知道它们的情况下获取 URL 的子页面？

Question

我想知道某个 URL 的任何子页面。例如，我有 URL example.com。可能存在子页面 example.com/home、example.com/help 等。是否有可能在不知道确切名称的情况下获取所有此类子页面？

我想我可以用网络爬虫来处理这个问题。但它只是抓取页面本身提到的页面。

我希望你能理解我的问题并能帮助我。

谢谢！

标签： urlscrapyweb-crawler

Answer 1

不，你不能。

根据您描述情况的方式，该网站打算将这些所需的 URL 保密。

任何找到此类 URL 的方法都是一种安全漏洞，应立即向网站所有者报告，以便他们进行修复。