python - 在 GCP 中的 Jupyter Notebook 上不断出现“内核重启”

Question

在谷歌云平台上使用 Hadoop Dataproc-Clusters 我不断收到消息“内核正在重新启动，内核（...）似乎已经死亡。它将自动启动”，并丢失了我在 jupyter 笔记本中的所有计算。我真的没有看到这些错误背后的任何模式，繁重的计算（> 10M 行的熊猫数据帧）是我能识别的唯一驱动程序。使用以下配置设置集群：

gcloud dataproc 集群创建 cluster-v1
--region europe-west1
--zone europe-west1-b
--subnet datascience
--no-address
--scopes 'https://www.googleapis.com/auth/cloud-platform'
--enable-component-gateway
--optional-components ANACONDA,JUPYTER
--bucket xxx-datascience
--image-version 1.5-debian10
--num-workers 3 --worker
-machine-type c2-standard-16
--worker -boot-disk-size 500
--master-machine-type c2-standard-16
--master-boot-disk-size 500
--gce-pd-kms-key XXX
--project ssc

知道是什么触发了这个错误吗？

标签： pythongoogle-cloud-platformjupyter-notebookgoogle-cloud-dataproc