azure - 是否可以在 azure vm 中并行运行 python?
问题描述
我有一个 python 脚本,它使用 joblib 并行运行程序,它工作得很好(本地机器上 100% 的 cpu 消耗)。
最近,我将 python 脚本迁移到 azure 上的数据科学虚拟机 (DSVM),但发现多处理逻辑不起作用(cpu 消耗平均保持在 5% 的低水平)。
有谁知道 azure VM 是否支持并行化?如果是,我应该使用什么 python 包?当前使用“joblib”。
如果不是,您可以建议在 azure VM 上进行并行化的任何替代方案吗?
提前谢谢你,保持健康!!!
问候, 开尔文
解决方案
您的本地计算机操作系统是什么(Windows、Linux、发行版、版本)?测试是在真实硬件还是虚拟环境中运行?什么虚拟化技术(Hyper-V、vmware、其他)?Azure 提供的虚拟化应该与真正的硬件相匹配,所以我会首先查看操作系统和关于并行化的依赖关系,即进程或线程库等。我不是 Python 专家,但认为应该有一种方法可以让你识别是什么阻止了一个进程或线程启动另一个进程或线程,这是一种瓶颈。知道这一点应该引导正确的方向来解决问题。塞萨尔
推荐阅读
- javascript - 从 JavaScript 中的模块导入模块的正确方法是什么?
- javascript - 如何在 Angular JS 的自定义标签中访问 HTML?
- javascript - JavaScript映射返回对象数组而不是ojbect
- amazon-web-services - CloudFormation 堆栈错误 - GetObject 时发生错误。S3 错误代码:NoSuchKey
- android - Firebase Analytics 显示的数据不准确
- laravel - 得到错误'试图获取非对象的属性'id''即使 dd 函数正确返回
- c# - 工厂设计模式(不同签名)
- python - 无法将一些难以辨认的内容处理为可读
- php - 如何使用 SQL 连接合并表?
- c++ - Qt 应用程序意外 LanguageChange 事件