python - 网络抓取：获取图表背后的数据

Question

我希望下载网页上滑块图表背后的历史数据。任何python脚本？以及我们如何识别滑块图表/表格背后的数据？这是网站：https ://opstra.definedge.com/ivchart和https://traderslounge.in/ivrank-JETAIRWAYS/

import requests
import pandas as pd
from datetime import date
r = requests.get('https://traderslounge.in/ivrank-JETAIRWAYS/')
da=str(date.today())
Data=pd.DataFrame(r.json()["data"])

标签： pythonhtmlweb-scraping

Answer 1

事实证明，您可以直接从他们的 api 获取这些数据而无需抓取。例如，将其插入您的 URL 栏中，点击输入https://tools.traderslounge.in/optionsdashboardapp/iv/NIFTY 这是一个获取请求。我尝试使用来自不同选项卡的 fetch API，但没有遇到 CORS 问题。当您检查页面网络活动时，您可以看到该页面从何处获取数据。

press f12 on the page to open the dev tools -> 
open the network pane ->
refresh the page ->
examine requests named NIFTY ->
copy url form headers pane ->
make your own request from python with the requests package,
that you seem to know already.

注意响应是 json。

我没有对第二个 URL 进行 100% 测试，但我认为你想得到这个（这也没有 CORS 错误） https://traderslounge.in/FNO/ivrank/JETAIRWAYS_IV.json