python - 用于检查网站是否有指向其他网站的 URL 的 Python 脚本

Question

假设我有一个 xls 或 csv 文件（在某些云上），其中包含网站列表，其中包含指向我网站上某些内容的 URL。我想写一个脚本去给定的网站，检查链接是否仍然存在以及它是否具有“关注”属性。哪个工具和库最适合它。我考虑为此使用 Selenium。

标签： python

Answer 1

是的，您可以使用 selenium 自动化 python 中的内容。
或者，您可以读取 csv/xls 文件并使用 python 中的 pandas 将值存储为数据框。
您可以遍历网站并存储网站是否正常工作的结果。

# sample code for storing csv/xls in dataframe
filepath = 'data.csv'
df = pd.read_csv(filepath) || pd.read_excel(filepath, index_col=0)
print(df)

# sample code for checking website exists
import requests
url = 'http://www.example.com'
request = requests.get(url)
if request.status_code == 200:
    print('Web site exists')
else:
    print('Web site does not exist')

最后以 csv/xls 的形式存储结果。