时间戳

首页 > 解决方案 > pyspark、jars 和 jupyter 笔记本

apache-spark - pyspark、jars 和 jupyter 笔记本

问题描述

我最近使用 jars 文件来允许 mongodb 与 spark 集成，所以我输入：

pyspark --jars mongo-hadoop-spark-2.0.2.jar,mongo-java-driver-3.4.2.jar,mongo-hadoop-2.0.2.jar

至此让我从 pyspark shell 与 mongodb 数据库进行交互。

其次，我将 jupyter notebook 与命令行“jupyter notebook”一起使用并写道：

import findspark
findspark.init()
import pyspark
sc = pyspark.SparkContext()

在 jupyter 中运行 pyspark 命令。

我怎么能告诉 Spark 像使用 Shell 一样自动集成我的 jars 文件？我应该在 spark 目录中填写一些配置文件吗（在我的 $SPARK_HOME 中，或者我可以从 jupyter notebook 中执行此操作吗？

谢谢。

PS：我是信息新手；）

标签： apache-sparkpysparkjupyter-notebook

解决方案

推荐阅读