python-3.x - 有没有办法使用刮刀向下滚动 Instagram 页面？

Question

这是我编写的一个函数，用于从我的 Instagram 个人资料中抓取图像 URL。

def ImageList():
    url = 'https://www.instagram.com/Username/?hl=en'
    data = req.Request(url)
    resp = req.urlopen(data)
    respData = resp.read()

    dat = re.findall(r'"src"\s*:\s*"(.+?)"', str(respData))

    print(str(respData))
    i = 0
    rec = []
    for x in dat:
        if re.search("/s640x640/", x):
            rec.append(x)
    return rec

虽然它工作得很好，但它只返回前 9 个左右的 URL。我意识到这是因为页面本身是一个无限滚动页面，因此我需要滚动页面以加载所有图像并获取它们的 URL。

是否可以在不使用驱动程序（Selenium Webdriver）的情况下做到这一点，即为它编写我自己的代码。

我知道 Instagram 有一个 API，这里的目标是让我的代码自给自足，请不要用它来轰炸我，谢谢。

标签： python-3.xweb-crawler