python-3.x - 如何获取所有页码及其网址？

Question

我正在尝试从类别页面获取所有页面：类别页面在此处链接

在底部有下一页页码。我正在尝试获取下一页的所有网址：

Mydriver = getOrCreateWebdriver()
Main_category = Mydriver.find_elements_by_xpath("//a[@href]")
for mc in Main_category:
mCat_link = mc.get_attribute("href")
mCat_link = unquote(mCat_link)
mCat_link = mCat_link.replace('#', '')
if (mCat_link in category_list or "changelanguage" in mCat_link):
    continue
else:
    if("reseller.c-data.co.il" in mCat_link):
        category_list.append(mCat_link)
        print(mCat_link)
        if(mc.find_elements_by_class_name("current-page")):
            i=2
            another_page = mCat_link+"#/pageSize=21&viewMode=grid&orderBy=0&pageNumber="+i
            print(another_page)
            i+=1
            another_page = mCat_link + "#/pageSize=21&viewMode=grid&orderBy=0&pageNumber="+i
    else:
        continue

我找不到课程，也无法访问这些页面。我怎样才能得到它们或至少知道菜单中有多少页？

标签： python-3.xseleniumweb-crawler

Answer 1

抱歉，我没有更改方法名称。它应该是find_elements_by_css_selector

matches = Mydriver.find_elements_by_css_selector("li.individual-page > a")
for e in matches:
    print(e.get_attribute('data-pagenumber'), e.text)