azure - 在为 Starburst Presto 创建 Azure HDInsight 群集时,我可以创建 Spark 群集吗?
问题描述
在为大数据创建基础架构时,我想在 Presto 安装中使用 Azure HDInsight。Azure HDInsight 带有不同的风格,如 hadoop、spark 等。在文档中建议使用 hadoop 集群,但我想使用 spark 之一。
是否可以在 Starburst 的 Presto 发行版中使用 spark 集群?
解决方案
看起来您想同时使用 Presto 和 Spark。如果在单个集群上运行它们,则需要适当地配置它们以确保不同进程的 JVM 可以共存。这是可能的,但在实践中很难做到(你需要知道JVM如何分配超出-Xmx
设置的内存),所以绝对不推荐。
虽然我可以想象,在一些很难配置新硬件的本地安装中,您可能希望将服务托管在一个集群上。在云中,配置两个单独的集群要方便得多,每个集群的大小都适合您的特定需求和工作负载。例如,您可以拥有一个带有 Presto 的集群,用于交互式分析、仪表板和即席查询。另一个使用 Spark 用于机器学习或 ETL 工作负载。
有关详细的配置说明,请参阅Azure 文档中的 Starburst Presto 。
推荐阅读
- sql - sql oracle中每列如何分隔数字
- html - CSS中的粗体字体
- python - Python:Bloomberg API 无法获取令牌。无授权
- android - Android:混合FCM消息的优先级是什么
- python - Windows ubuntu 上的 Python Kivy 构建错误
- c# - 如何在 Linux 上的 C# 中按特定的 SortVersion 比较字符串?
- javascript - 使用 Fabric.js 访问 SVG 属性
- regex - 这些字符串的正则表达式
- html - 隐藏元素仍在下拉导航中占用空间
- javascript - 如何合并和汇总来自 MongoDB 的结果