python - 哪种平台/语言用于繁重的计算/ML 任务？

Question

我们在 Python Data 生态系统中构建了一个 MVP，但性能远不如预期。

我们的方法：

• 用于任务并行化的多处理模块（在 Python 中笨拙地完成 - 腌制/取消腌制每个任务）
• scikit-learn 库
• 用于数据传输的 pandas
• 这与处理大数据或在大数据上训练模型无关，在分析后我们发现大部分时间都花在了常规计算任务上，但我们正在做很多事情。

因此：

1. 我们想知道我们还能用什么来加快计算速度？经过一些研究后，出现了一些候选者：Julia、Lua、Rust 等。
   • 要求：
     • 快点
     • 设计支持并行化（不是像 Python 那样的解决方法）
     • 科学库的存在，不是所有的 Python，而是主要的选择
     • 编译（我猜）
2. 但是在我们转移到另一个平台之前——我们想知道是否有一种方法可以加速现有的 Python 代码？

非常感谢有关这两种情况的任何意见。

编辑：嗯，我认为哪个平台/语言的计算速度更快有一个非常明确的答案，我也想听听在其他平台上有经验的人的意见。

标签： pythonmachine-learningrustluajulia