google-cloud-platform - 优化 Dataproc 集群启动时间
问题描述
我正在开发一个用户提交请求的应用程序,这些请求将作为 Spark 作业处理。目前,我们的数据中心有一个非常大的集群来满足组织的需求。我们计划迁移到 GCP,为了降低成本,我们计划迁移到动态集群。由于集群的大小很大程度上取决于用户活动,我们正在计划一个完整的 Auto Scaling 集群。
问题之一是我们的用户请求受 SLA 约束,请求处理时间约为 10 到 15 分钟。不幸的是,对于动态集群,它需要另外 5 到 6 分钟才能启动集群,并且作为自动扩展的一部分添加工作节点也需要很长时间。
尽管我的初始化步骤很少,但作为一项措施,我创建了一个自定义图像,其中包含我的 PySpark 作业所需的预安装库集,并使用该图像启动集群。出于测试目的,我正在创建非常基本的 2 节点集群,这也需要 4 到 6 分钟。
我什至没有安装额外的“可选组件”。
这是我用于创建图像的命令:
python generate_custom_image.py \
--image-name custom-1-5-1-debina10 \
--family custom-image \
--dataproc-version 1.5.1-debian10 \
--customization-script initialization_scripts_for_image.sh \
--zone europe-west3-b \
--gcs-bucket gs://poc-data-store/custom-image-logs/ \
--disk-size 50 \
--dry-run
有什么建议可以改善 Dataproc 集群的启动时间。一项观察是,Dataproc 启动日志将大部分时间用于卸载组件:
是否有可能将尽可能多的推送到镜像准备阶段,减少集群启动阶段的服务启动?
解决方案
这是一个已知的 GCE 问题,带有大启动磁盘的 Debian 10 虚拟机启动时间很慢。此问题是由 GCE VM 启动期间文件系统大小调整缓慢引起的。
GCE 团队正在努力解决这个问题,但目前还没有 ETA。
同时,您有几个选择作为解决方法:
- 使用基于 Ubuntu 的 Dataproc 映像
- 使用较小的启动磁盘会减少启动时间,但不建议这样做,因为它会影响性能,因此您可能需要连接本地 SSD来解决这个问题。
- 使用 1TB 启动磁盘创建自定义 Dataproc 映像,以便在启动期间不会调整文件系统大小。
Dataproc 会异步卸载组件,因此不会显着影响启动时间。
更新:
GCE 问题已修复,因此默认配置使用最新 Debian 10 映像的 Dataproc 集群的平均集群创建时间为 90 秒。
推荐阅读
- java - 如何使用 Spring 通过响应式 websocket 推送数据以响应请求?
- android - ionic cordova 运行 android 失败。不推荐使用未处理的承诺拒绝
- dart - 如何在 Flutter 上创建多个 Shared-Preferences?
- angular - 如何按需添加存在于不同角度应用程序中的角度组件(不使用库)?
- c# - 压缩图像后它最终旋转
- linux - linux内核中控制器中断号和中断号的关系
- xml - 每组的 XSLT 最大值
- python - 如何使用正则表达式根据特定键提取特定字典?
- ibm-cloud - IBM Watson Assistant:带链接的节点中“试用”和 Messenger 之间的区别
- r - 根据 R Shiny 中的点击输入更改绘图