fb-hydra - hydras 用 Ax 扫过不同的配置组

Question

我有一个名为 scheduler 的配置组，其中包含许多优化器调度程序，每个都有自己的参数。是否可以创建一个扫描，以便我可以探索许多调度程序，并在每个调度程序同时探索该调度程序的不同参数。

我目前拥有的是以下内容：

  sweeper:
    ax_config:
      params:
        general.batch_size:
          type: choice
          values:
            - 4
            - 8
            - 16
            - 32
            - 64
        general.lr:
          type: range
          bounds: [0.00025, 0.025]
        scheduler:
          type: choice
          values:
            - step_lr
            - cyclic_lr
            - one_cycle_lr 

我想要这样的东西：

  values:
    - step_lr
      gamma:
       type: range
       bounds: [0.9, 0.99]

    - cyclic_lr
    - one_cycle_lr

标签： fb-hydrahydra-python

Answer 1

基本上我认为您想使用网格搜索清扫器来扫过 AX 清扫器。这是不支持的。在这种情况下，您需要为每个参数创建不同的扫描。