首页 > 解决方案 > 试图从网站上抓取链接,在视图页面源中看不到它,但是如果我检查页面上的一个特殊项目,它会显示 href 链接

问题描述

我正在播放的页面是这个https://web.archive.org/web/*/https://cd.lianjia.com/,我想进入这个 webarchive 在不同时间点保存的页面,如图所示日历中的点,但在查看页面源代码中我找不到不同时间点的任何 href 链接。如果我在一个时间点单击检查,我可以看到 href 链接在那里。这是我的代码:

import re
from bs4 import BeautifulSoup
import requests
import urllib.request
url = 'https://web.archive.org/web/*/https://cd.lianjia.com/'
page = urllib.request.urlopen(url).read().decode('utf-8')
soup = BeautifulSoup(page, 'html.parser')

在此处输入图像描述

标签: pythonscrapy

解决方案


calendar grid该类下,您会发现最终导致每个月每周的每一天的标签层次结构。有关联档案的日子将有一个calendar-daydiv 和 associated href

在此处输入图像描述


推荐阅读