python - 创建一个 Spark 数据框，其中只有一列的数字从 1 到 100 万

Question

如何创建一个只有一列数字从 1 到 1000 万的 Spark 数据框？

我曾尝试使用 Python 创建一个从 1 到 1000 万不等的数字列表，但我的解决方案失败了。请指教，提前谢谢。

我正在使用以下查询：

df_base1 = sqlc.range(0, 1000000)

但它失败了：

遇到错误：来自 http://:8999/sessions/401/statements 的无效状态代码“500”，错误负载：“java.lang.IllegalStateException：RPC 通道已关闭。”

标签： pythonpython-3.xapache-sparkpysparkspark-dataframe

Answer 1

df_base1 = sqlc.range(0, 1000000)

工作正常。有一些环境问题。