python - 无法使用请求从下一页获取公司链接

Question

我在 python 中创建了一个脚本来从网站上获取不同货运公司的链接。那里有 3501 条记录遍历多个页面。我想获取这些记录的链接。我目前的尝试可以从中获取链接；登陆页面，但我找不到任何方法可以继续到下一页来解析那里的链接，依此类推。

网站链接

我试过：

import requests
from bs4 import BeautifulSoup

url = 'http://www.truckingcompanies.ca/trucking_new-york/'

def get_links(link):
    r = requests.get(link)
    soup = BeautifulSoup(r.text,"lxml")
    for item in soup.select("[id^='trucking_company_record_'] a[id^='company_name_']"):
        print(item.get("href"))

if __name__ == '__main__':
    get_links(url)

如何使用请求获取遍历下一页的不同公司的链接？

标签： pythonpython-3.xweb-scraping