时间戳

首页 > 解决方案 > 将 JSON 从 URL 转换为数据帧（Pyspark 和 Scala）

scala - 将 JSON 从 URL 转换为数据帧（Pyspark 和 Scala）

问题描述

我有一个网址，例如：

the_given_URL = https://blahblah.blahblah.com/raw/AAA/B_B_B/C-C/DD_DD/W/config/smth.json?token=AAArebNfNdB5Ypd9de2NH1ifSCzqA-aEks5dTcabwA%3D%3D

其中包含 Json 格式的数据，可能会定期更新。

我找不到将其转换为数据框的方法。Scala 和 Pyspark 的方式都可能会有所帮助。

我尝试过类似的东西

  val df = sqlContext.read.json("the_given_URL")

但我收到以下错误：

  19/08/05 17:43:13 WARN FileStreamSink: Error while looking for metadata directory.

  java.io.IOException: No FileSystem for scheme: https

请考虑我得到的错误是针对给定的 URL 的。

标签： scalaapache-sparkpysparkapache-spark-sql

解决方案

您应该使用 requests 库来访问该网页。这应该可以帮助您启动

import json
import requests

req = requests.get("path to json")
df = sqlContext.createDataFrame([json.loads(line) for line in req.iter_lines()])

推荐阅读