时间戳

首页 > 解决方案 > 无法使用请求从网页中获取所有表格内容

python - 无法使用请求从网页中获取所有表格内容

问题描述

我在 python 中创建了一个脚本来解析网站中的表格内容。我的脚本现在可以从它的登录页面解析内容。但是，NEXT PAGE该页面底部有一个按钮，单击该按钮可展开 50 多个结果，依此类推。

网站地址

我试过（刮掉前 50 个结果）：

import requests
from bs4 import BeautifulSoup

site_link = 'https://indiarailinfo.com/trains/passenger/0/0/0/0'

res = requests.get(site_link)
soup = BeautifulSoup(res.text,"lxml")
for items in soup.select("div[style='line-height:20px;']"):
    tds = [elem.get_text(strip=True) for elem in items.select("div")]
    print(tds)

如何使用请求从该页面获取所有表格内容，用尽下一页按钮？

PS 我知道如何使用 selenium 展开内容，因此与任何浏览器模拟器相关的解决方案都不是我想要的。

标签： pythonpython-3.xweb-scraping

解决方案

单击下一步按钮实际上是对https://indiarailinfo.com/trains/passenger/0/1?i=1&&kkk=1571329558457进行 XHR 

<button class="nextbtn" onclick="javascript:getNextTrainListPageBare($(this).parent(),'/trains/passenger/0/1?i=1&amp;');"><div>NEXT PAGE<br>the next 50 Trains will appear below</div></button>

因此，您所要做的就是在“onclick”下获取数据，编写一个 url 并使用请求进行 HTTP GET。

返回的数据将如下所示

https://pastebin.com/Nk0E5vHH

现在只需使用 BeautifulSoup 并提取您需要的数据。

下面的代码（将 10 替换为您需要的数字）

import requests
from bs4 import BeautifulSoup

site_link = 'https://indiarailinfo.com/trains/passenger/0/{}'

for x in range(10):
    url = site_link.format(x)
    res = requests.get(url)
    soup = BeautifulSoup(res.text,"lxml")
    print('Data for url: {}'.format(url))
    for items in soup.select("div[style='line-height:20px;']"):
        tds = [elem.get_text(strip=True) for elem in items.select("div")]
        print(tds)

推荐阅读