python-3.x - 使用本地 IDE（例如 Microsoft 可视化代码）来使用额外的计算

Question

我正在尝试找出如何使用本地 IDE（例如 microsoft Visual Studio 代码）来使用分布式计算能力的最佳方式。目前，我们正在本地获取数据，但由于未来数据规模将增长、云数据安全等原因，这似乎不是可持续的解决方案。我们想到的一种解决方法是隧道进入 EC2 实例，但希望听到在机器学习/数据科学环境中解决这个问题的最佳方法是什么（我们正在使用数据块和 AWS 服务）。

标签： python-3.xvisual-studioamazon-web-servicesdata-sciencedatabricks

Answer 1

不确定为什么要将 IDE 连接到 ccomputer 。我已经使用 VS Code 针对 HDInsight 集群运行脚本。在我通过脚本触发之前，我会配置它要运行的集群。在 Databricks 上也是如此。