databricks - 通过 Azure + DataBricks + MLFlow 进行令人尴尬的并行超参数搜索
问题描述
概念问题。我的公司正在推动 Azure + DataBricks。我试图了解这可以把我们带到哪里。
我正在将我在本地完成的一些工作移植到 Azure + Databricks 平台。我想使用 Azure + Databricks + MLfLow 对大量超参数组合进行实验。我正在使用 PyTorch 来实现我的模型。
我有一个有 8 个节点的集群。我想以令人尴尬的并行方式开始对所有节点进行参数搜索(每个节点运行一次,独立运行)。这是否像创建 MLflow 项目然后对每个超参数组合使用 mlflow.projects.run 命令一样简单,而 Databricks + MLflow 将负责其余的工作?
这项技术能做到这一点吗?我正在寻找一些可以用来实现这一目标的参考资料。
解决方案
推荐阅读
- javascript - 为什么在不提供响应时使用信标 api
- reactjs - TypeScript React 函数组件名称作为类型
- java - 错误:1553 - AQL:绑定参数“@myParameter”的值或类型无效(解析时)-ERROR_QUERY_BIND_PARAMETER_TYPE
- java - 如何用 db 的结果填充 jsp 页面上的表格?
- node.js - 如何使用 mongoose 和 node.js 在多个 mongodb 集合中插入数据
- c# - 如何在调用文件 URL 以通过 Internet Explorer 下载时包含登录凭据?
- r - WinBUGS中计算后验分布的代码语法
- html - 悬停选择器在搜索栏中移动 svg
- django - 无法在 django 中过滤或搜索不同语言的数据
- javascript - 为什么这个简单的 async - promise - reduce 代码有效?