时间戳

首页 > 解决方案 > 如何使用python从HTML页面的javascript代码中抓取数据

python-3.x - 如何使用python从HTML页面的javascript代码中抓取数据

问题描述

我正在努力从网站上抓取图表的实际数据。但是这些数据在 javascript 代码中并存储在列表中。那么请告诉我如何使用 python 抓取这些数据。

单击此处查看 HTML 页面图像。
在此图像中显示脚本标记，在此标记中有一列 [] 列表。在此列表中存储数据

然后请发送此问题的解决方案。

这是我的python代码

from bs4 import BeautifulSoup
import urllib.request urlpage = 'http://www.stockgraph.com/' //这不是原始url，上面给出
了html页面图片的链接。

page = urllib.request.urlopen(urlpage)

汤 = BeautifulSoup(page,'html.parser')
script=soup.find('script',attrs={'class':'col-md-9 col-md-push-3'})
print(script)

在上面的代码中打开 url 并找出脚本标签，但我无法抓取javascript 代码。请告诉我解决方案。
我在脚本标签中的数据并存储在列表中，然后如何抓取这些数据

标签： python-3.x

解决方案

为了让您朝着正确的方向前进，我将尝试指导您完成您需要做的事情。

首先你需要使用一些东西来阅读你的网页，比如 urllib

import urllib2
response = urllib2.urlopen("http://google.com")
page_source = response.read()

然后，您需要使用 BeautifulSoup 之类的另一个模块来解析此代码

按照一些文档开始抓取您的网站 https://www.freecodecamp.org/news/how-to-scrape-websites-with-python-and-beautifulsoup-5946935d93fe/

推荐阅读