时间戳

首页 > 解决方案 > 使用 HTTrack 仅在某个子域下下载链接（没有外部）

web - 使用 HTTrack 仅在某个子域下下载链接（没有外部）

问题描述

所以，这就是我要下载的 - https://www.slader.com/textbook/9781337624183-calculus-9th-edition/

看起来相当简单，我尝试在“扫描规则”中添加几行以强制它下载其下的所有内容，但由于某种原因，整个过程在 10 秒内完成，并且仅下载上述链接本身并没有更进一步。例如，除了拥有https://www.slader.com/textbook/9781337624183-calculus-9th-edition/本身之外，我还希望拥有源自它的所有链接，例如https://www.slader。 com/textbook/9781337624183-calculus-9th-edition/311/也。本质上，从上面的第一个链接开始的所有内容（包括来自其他域的嵌入图片，但没有外部链接。据我所知，调整一些设置并在“扫描规则”部分添加一些规则应该可以做到诡计，但不幸的是我自己无法弄清楚。

标签： webdownloadhttrack

解决方案

为了只复制来自该主机而不是其他主机的链接，要包含您提交的第一个链接，您需要设置扫描规则。

在您设置网址的菜单页面上，单击“设置选项...”按钮，然后单击“扫描规则”选项卡。接下来确保您的扫描规则排除所有链接，然后确保它们包含来自您想要的源的链接。这种设置的例子是

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].slader.com/*

这基本上会保存来自 slader.com 的所有链接，但不会存储该域之外的任何内容。

编辑

如果您只想要以您在扫描规则中键入的链接开头的链接，则看起来类似于以下内容：

+*.png +*.gif +*.jpg +*.jpeg +*.css +*.js -ad.doubleclick.net/* -mime:application/foobar
-*
+*[name].*[name]https://www.slader.com/textbook/9781337624183-calculus-9th-edition/*[name].*[name]/*

编辑

由于特定视图的链接结构方式，您可能无法通过 HTTrack 获取其他页面，例如“表示函数的四种方式”。如果您查看来源，他们的链接发布如下：

<tr data-url="/textbook/9781337624183-calculus-9th-edition/17/" class="exercise-group">
                  <td>1.1</td>
                  <td style="width: 360px;">Four Ways to Represent a Function</td>
                  <td style="width: 230px;">Exercises</td>
                  <td style="width: 74px;">p.17</td>
                </tr>

正如你所看到的，他们使用 data-url 属性来定位下一页，使用 JS 库来实际导航浏览器。由于这不是一个锚标签，HTTrack 不知道它应该跟随它，因为它不将其视为链接。

一些替代方案是使用Selenium或Scrapy 之类的东西来编写一个具有您自己的规则的网络爬虫，这样可以更好地理解它。

推荐阅读