html - 有没有办法将查看更多功能集成到 Python 网络爬虫中？

Question

我正在为俄罗斯新闻网站 RIA.ru 构建自定义网络爬虫。搜索后，该网站会显示前 20 篇相关文章。要查看更多文章，您必须单击底部显示“查看更多”的蓝色按钮。

这是一个搜索麦当劳的示例：https ://ria.ru/search/?query=mcdonalds 。有 293 个点击，但只有前 20 个显示。

我的网络爬虫目前只评估前 20 次点击。我希望它能够评估所有热门歌曲。

我确定了“查看更多”按钮的 html 属性和相关链接：/services/search/getmore/?query=mcdonalds&offset=20

我想我可以对刮板进行编程以找到该链接并将其粘贴到绝对链接上。然后我可以从该页面中提取 HTML 并重复该过程，直到不再出现“查看更多”链接。然后我会抓取页面的内容链接。

我试图将它与绝对链接一起粘贴，但它不起作用。我还尝试将其与绝对链接的多种变体粘贴在一起。那也失败了。

有人有其他建议吗？我真的希望刮板刮掉所有相关的文章。

from urllib.request import urlopen
from bs4 import BeautifulSoup 

query = "mcdonalds"
searchURL = "https://ria.ru/search/?query="

# Create starting link

searchURL = searchURL + query

# Create list for the "see more" links or scroll links

scrollLinks = []

# Pull the HTML from the starting link and clean it

html = urlopen(searchURL)
bsObj = BeautifulSoup(html)

# Find the "see more links" (there will only be one)
# Append the relative link to the list

for link in bsObj.findAll("div", {"class":"list-more"}):
    if 'data-url' in link.attrs:
        scrollLinks.append(link.attrs['data-url'])

# Paste relative link onto master link

searchURL = searchURL + scrollLinks[0]        

# Print it

print(searchURL)

打印返回：

https://ria.ru/search/?query=mcdonalds/services/search/getmore/?query=mcdonalds&offset=20

该链接不会将您带到同一页面，但会显示另外 20 篇文章。相反，它只是将您带到一个没有返回任何内容的新搜索页面。

感谢您的任何建议！

标签： htmlpython-3.xweb-scrapingbeautifulsoup

Answer 1

你很接近。但是网址有点不同。试试下面的代码，它会给你所有 293 个链接。

from bs4 import BeautifulSoup
import requests

page = "https://ria.ru/services/search/getmore/?query=mcdonalds&offset={}"
page_num = 0
session = requests.Session()
totalurls=[]
while True:
    pageTree = session.get(page.format(page_num))
    pageSoup = BeautifulSoup(pageTree.content, 'html.parser')
    items = pageSoup.find_all(class_='list-item__title color-font-hover-only')
    for item in items:
        title = 'https://ria.ru' + item['href']
        totalurls.append(title)

    if page_num<280:
      page_num += 20
      page = "https://ria.ru/services/search/getmore/?query=mcdonalds&offset={}".format(page_num)

    else:
     break
print(totalurls)
print(len(totalurls))

输出：

['https://ria.ru/20190826/1557929866.html', 'https://ria.ru/20190813/1557454474.html', 'https://ria.ru/20190731/1557057024.html', 'https://ria.ru/20190725/1556861008.html', 'https://ria.ru/20190709/1556333622.html', 'https://ria.ru/20190705/1556244317.html', 'https://ria.ru/20190530/1555087647.html', 'https://ria.ru/20190524/1554867334.html', 'https://ria.ru/20190325/1552073318.html', 'https://ria.ru/20190226/1551353147.html', 'https://ria.ru/20190116/1549459263.html', 'https://ria.ru/20190116/1549412375.html', 'https://ria.ru/20181115/1532878009.html', 'https://ria.ru/20180927/1529462687.html', 'https://ria.ru/20180807/1526108337.html', 'https://ria.ru/20180715/1524622093.html', 'https://ria.ru/20180713/1524496100.html', 'https://ria.ru/20180615/1522774167.html', 'https://ria.ru/20180413/1518548132.html', 'https://ria.ru/20180309/1516048056.html', 'https://ria.ru/20180308/1516015678.html', 'https://ria.ru/20180216/1514738698.html', 'https://ria.ru/20171229/1511932214.html', 'https://ria.ru/20171204/1510139734.html', 'https://ria.ru/20171128/1509722443.html', 'https://ria.ru/20171124/1509514846.html', 'https://ria.ru/20171124/1509511458.html', 'https://ria.ru/20171124/1509502710.html', 'https://ria.ru/20171009/1506485704.html', 'https://ria.ru/20171008/1506419524.html', 'https://ria.ru/20171004/1506192303.html', 'https://ria.ru/20170726/1499223416.html', 'https://ria.ru/20170713/1498442822.html', 'https://ria.ru/20170629/1497541393.html', 'https://ria.ru/20170525/1495080187.html', 'https://ria.ru/20170421/1492771586.html', 'https://ria.ru/20170213/1487839022.html', 'https://ria.ru/20170131/1486896948.html', 'https://ria.ru/20170127/1486587582.html', 'https://ria.ru/20170124/1486393620.html', 'https://ria.ru/20170123/1486313060.html', 'https://ria.ru/20170116/1485785336.html', 'https://ria.ru/20170102/1485094363.html', 'https://ria.ru/20161205/1482860000.html', 'https://ria.ru/20161021/1479772967.html', 'https://ria.ru/20160919/1477278410.html', 'https://ria.ru/20160907/1476293662.html', 'https://ria.ru/20160906/1476210212.html', 'https://ria.ru/20160903/1476019972.html', 'https://ria.ru/20160827/1475429667.html', 'https://ria.ru/20160826/1475373426.html', 'https://ria.ru/20160726/1472918364.html', 'https://ria.ru/20160726/1472850539.html', 'https://ria.ru/20160722/1472659487.html', 'https://ria.ru/20160718/1470131278.html', 'https://ria.ru/20160629/1454264650.html', 'https://ria.ru/20160609/1444947015.html', 'https://ria.ru/20160607/1444079065.html', 'https://ria.ru/20160526/1439820521.html', 'https://ria.ru/20160506/1427762622.html', 'https://ria.ru/20160429/1423568431.html', 'https://ria.ru/20160426/1420428569.html', 'https://ria.ru/20160419/1415294726.html', 'https://ria.ru/20160419/1415286466.html', 'https://ria.ru/20160406/1403422141.html', 'https://ria.ru/20160405/1402992346.html', 'https://ria.ru/20160325/1396814834.html', 'https://ria.ru/20160217/1376254437.html', 'https://ria.ru/20160217/1376022088.html', 'https://ria.ru/20160128/1366422549.html', 'https://ria.rumcdonalds_test_21082014', 'https://ria.ru/20160122/1363167924.html', 'https://ria.ru/20160121/1362966735.html', 'https://ria.ru/20160118/1361194870.html', 'https://ria.ru/20160108/1356326189.html', 'https://ria.ru/20160105/1354929056.html', 'https://ria.ru/20151203/1335032519.html', 'https://ria.ru/20151119/1324198351.html', 'https://ria.ru/20151118/1323339489.html', 'https://ria.ru/20151110/1317603894.html', 'https://ria.ru/20151005/1297244505.html', 'https://ria.ru/20150923/1276669479.html', 'https://ria.ru/20150918/1260508315.html', 'https://ria.ru/20150915/1252513717.html', 'https://ria.ru/20150721/1139167761.html', 'https://ria.ru/20150609/1069120663.html', 'https://ria.ru/20150609/1069116460.html', 'https://ria.ru/20150609/1069116207.html', 'https://ria.ru/20150609/1069105531.html', 'https://ria.ru/20150523/1066108020.html', 'https://ria.ru/20150519/1065403513.html', 'https://ria.ru/20150508/1063447756.html', 'https://ria.ru/20150507/1063061937.html', 'https://ria.ru/20150425/1060823959.html', 'https://ria.ru/20150422/1060317282.html', 'https://ria.ru/20150416/1058953034.html', 'https://ria.ru/20150416/1058899766.html', 'https://ria.ru/20150410/1057759741.html', 'https://ria.ru/20150330/1055545046.html', 'https://ria.ru/20150330/1055537612.html', 'https://ria.ru/20150301/1050235346.html', 'https://ria.ru/20150211/404309142.html', 'https://ria.ru/20150129/1044824124.html', 'https://ria.ru/20150129/1044807897.html', 'https://ria.ru/20150128/1044621620.html', 'https://ria.ru/20150119/1043228041.html', 'https://ria.ru/20150115/1042630640.html', 'https://ria.ru/20141231/1041076251.html', 'https://ria.ru/20141218/1038913083.html', 'https://ria.ru/20141210/1037474159.html', 'https://ria.ru/20141209/1037317375.html', 'https://ria.ru/20141204/1036663305.html', 'https://ria.ru/20141204/1036589146.html', 'https://ria.ru/20141203/1036334610.html', 'https://ria.ru/20141201/1035919557.html', 'https://ria.ru/20141126/1035272511.html', 'https://ria.ru/20141120/1034253363.html', 'https://ria.ru/20141119/1034088224.html', 'https://ria.ru/20141119/1034083777.html', 'https://ria.ru/20141119/1034069303.html', 'https://ria.ru/20141110/1032538539.html', 'https://ria.ru/20141107/1032198324.html', 'https://ria.ru/20141105/1031822422.html', 'https://ria.ru/20141105/1031725080.html', 'https://ria.ru/20141021/1029382826.html', 'https://ria.ru/20141020/1029158069.html', 'https://ria.ru/20141013/1028104346.html', 'https://ria.ru/20141010/1027790390.html', 'https://ria.ru/20141010/1027779076.html', 'https://ria.ru/20141006/1027122272.html', 'https://ria.ru/20140927/1025881148.html', 'https://ria.ru/20140925/1025526489.html', 'https://ria.ru/20140924/1025437794.html', 'https://ria.ru/20140923/1025208023.html', 'https://ria.ru/20140919/1024761536.html', 'https://ria.ru/20140919/1024741767.html', 'https://ria.ru/20140916/1024249036.html', 'https://ria.ru/20140915/1024213351.html', 'https://ria.ru/20140915/1024153439.html', 'https://ria.ru/20140911/1023592125.html', 'https://ria.ru/20140910/1023498530.html', 'https://ria.ru/20140910/1023462119.html', 'https://ria.ru/20140909/1023438029.html', 'https://ria.ru/20140909/1023424789.html', 'https://ria.ru/20140909/1023419565.html', 'https://ria.ru/20140908/1023183339.html', 'https://ria.ru/20140905/1022823133.html', 'https://ria.ru/20140901/1022243244.html', 'https://ria.ru/20140827/1021607843.html', 'https://ria.ru/20140826/1021505034.html', 'https://ria.ru/20140826/1021455513.html', 'https://ria.ru/20140826/1021436007.html', 'https://ria.ru/20140825/1021369393.html', 'https://ria.ru/20140822/1021058416.html', 'https://ria.ru/20140822/1020987865.html', 'https://ria.ru/20140822/1020964610.html', 'https://ria.ru/20140821/1020887853.html', 'https://ria.ru/20140821/1020878656.html', 'https://ria.ru/20140821/1020876692.html', 'https://ria.ru/20140821/1020867008.html', 'https://ria.ru/20140821/1020863940.html', 'https://ria.ru/20140821/1020854238.html', 'https://ria.ru/20140821/1020846535.html', 'https://ria.ru/20140820/1020755523.html', 'https://ria.ru/20140814/1019963562.html', 'https://ria.ru/20140812/1019790161.html', 'https://ria.ru/20140808/1019359919.html', 'https://ria.ru/20140801/1018415663.html', 'https://ria.ru/20140728/1017895546.html', 'https://ria.ru/20140725/1017566553.html', 'https://ria.ru/20140725/1017487989.html', 'https://ria.ru/20140714/1015943776.html', 'https://ria.ru/20140521/1008709753.html', 'https://ria.ru/20140415/1003950998.html', 'https://ria.ru/20140411/1003540945.html', 'https://ria.ru/20140406/1002692823.html', 'https://ria.ru/20140404/1002591126.html', 'https://ria.ru/20140404/1002541310.html', 'https://ria.ru/20140404/1002479509.html', 'https://ria.ru/20140404/1002459449.html', 'https://ria.ru/20140403/1002438427.html', 'https://ria.ru/20140326/1001101674.html', 'https://ria.ru/20140318/999986852.html', 'https://ria.ru/20140228/997472636.html', 'https://ria.ru/20140218/995631669.html', 'https://ria.ru/20140213/994620069.html', 'https://ria.ru/20140212/994497954.html', 'https://ria.ru/20140208/993809357.html', 'https://ria.ru/20140207/993554934.html', 'https://ria.ru/20140123/990874996.html', 'https://ria.ru/20140120/990259320.html', 'https://ria.ru/20140109/988352775.html', 'https://ria.ru/20140107/988130239.html', 'https://ria.ru/20131216/984292484.html', 'https://ria.ru/20131213/983793399.html', 'https://ria.ru/20131206/982179184.html', 'https://ria.ru/20131022/971667590.html', 'https://ria.ru/20130930/966660132.html', 'https://ria.ru/20130918/963880857.html', 'https://ria.ru/20130910/962145221.html', 'https://ria.ru/20130816/956692403.html', 'https://ria.ru/20130807/954885316.html', 'https://ria.ru/20130729/952722733.html', 'https://ria.ru/20130727/952523372.html', 'https://ria.ru/20130724/951688973.html', 'https://ria.ru/20130723/951449293.html', 'https://ria.ru/20130722/951366845.html', 'https://ria.ru/20130719/950882788.html', 'https://ria.ru/20130717/950194937.html', 'https://ria.ru/20130712/949340545.html', 'https://ria.ru/20130708/948230143.html', 'https://ria.ru/20130704/947666328.html', 'https://ria.ru/20130703/947379118.html', 'https://ria.ru/20130703/947376811.html', 'https://ria.ru/20130613/943070180.html', 'https://ria.ru/20130602/227584536.html', 'https://ria.ru/20130524/939163443.html', 'https://ria.ru/20130522/938731579.html', 'https://ria.ru/20130419/933444177.html', 'https://ria.ru/20130226/924621668.html', 'https://ria.ru/20130222/924128283.html', 'https://ria.ru/20130221/924100340.html', 'https://ria.ru/20130221/924035653.html', 'https://ria.ru/20130218/923493755.html', 'https://ria.ru/20130218/923426433.html', 'https://ria.ru/20130218/399685402.html', 'https://ria.ru/20130214/922885267.html', 'https://ria.ru/20130206/921532007.html', 'https://ria.ru/20130122/919205807.html', 'https://ria.ru/20130121/918967161.html', 'https://ria.ru/20130114/917996449.html', 'https://ria.ru/20130105/498724656.html', 'https://ria.ru/20121227/916455094.html', 'https://ria.ru/20121120/911409408.html', 'https://ria.ru/20121031/908117878.html', 'https://ria.ru/20121023/905943636.html', 'https://ria.ru/20121003/765431403.html', 'https://ria.ru/20120914/750008368.html', 'https://ria.ru/20120802/714683043.html', 'https://ria.ru/20120727/710669962.html', 'https://ria.ru/20120727/710657921.html', 'https://ria.ru/20120724/707896252.html', 'https://ria.ru/20120719/703688980.html', 'https://ria.ru/20120711/696825952.html', 'https://ria.ru/20120530/498079182.html', 'https://ria.ru/20120514/497841033.html', 'https://ria.ru/20120501/639036285.html', 'https://ria.ru/20120418/628780017.html', 'https://ria.ru/20120411/622855803.html', 'https://ria.ru/20120411/622776966.html', 'https://ria.ru/20120410/622272612.html', 'https://ria.ru/20120322/602471965.html', 'https://ria.ru/20120322/602405399.html', 'https://ria.ru/20120302/225896118.html', 'https://ria.ru/20120124/547776570.html', 'https://ria.ru/20120124/547765730.html', 'https://ria.ru/20111108/483773728.html', 'https://ria.ru/20111019/463924464.html', 'https://ria.ru/20110825/423396692.html', 'https://ria.ru/20110727/407772160.html', 'https://ria.ru/20110510/372497368.html', 'https://ria.ru/20110310/344324110.html', 'https://ria.ru/20110308/343661709.html', 'https://ria.ru/20110302/341160103.html', 'https://ria.ru/20110201/329110632.html', 'https://ria.ru/20101228/314598889.html', 'https://ria.ru/20101128/301971744.html', 'https://ria.ru/20101123/299927644.html', 'https://ria.ru/20101104/292612796.html', 'https://ria.ru/20100615/246572422.html', 'https://ria.ru/20100522/237367766.html', 'https://ria.ru/20100415/222547983.html', 'https://ria.ru/20100131/830773457.html', 'https://ria.ru/20100122/205753955.html', 'https://ria.ru/20091109/192674241.html', 'https://ria.ru/20090507/170216295.html', 'https://ria.ru/20081227/158180838.html', 'https://ria.ru/20081209/156836138.html', 'https://ria.ru/20080504/106527628.html', 'https://ria.ru/20080309/101011380.html', 'https://ria.ru/20080309/101006325.html', 'https://ria.ru/20080223/99935006.html', 'https://ria.ru/20070411/63481432.html', 'https://ria.ru/20061219/57246357.html', 'https://ria.ru/20060503/47140916.html', 'https://ria.ru/20060424/46858404.html', 'https://ria.ru/20060421/46774284.html', 'https://ria.ru/20050909/41344205.html', 'https://ria.ru/20040519/593079.html', 'https://ria.ru/20040519/593054.html', 'https://ria.ru/20040519/592754.html', 'https://ria.ru/20020918/227555.html', 'https://ria.ru/20020918/227261.html']
293