时间戳

首页 > 解决方案 > 使用 bash 进行网页抓取

arrays - 使用 bash 进行网页抓取

问题描述

我正在使用 bash 进行网页抓取。我有这些 URL 保存在文件 URL.txt 中

?daypartId=1&catId=1
?daypartId=1&catId=11
?daypartId=1&catId=2

我想将这些 URL 传递给另一个文件中的数组，该文件将附加在基本 URL https://www.mcdelivery.com.pk/pk/browse/menu.html 我想在 URL.txt 文件中附加所有 URl在基本网址的末尾一一。

标签： arraysbashurlweb-scrapingscripting

解决方案

您将需要一种阅读每一行的方法，

while IFS= read -r line ;do
        echo $line
done < "${file}"

然后在该文件读取循环中，您将需要执行附加并使用您已获得的 $line 的操作。

curl http://example.com${line}

推荐阅读