python - 在 PyTorch Lightning 中运行多个模型的问题
问题描述
我正在开发一个系统,该系统需要使用 Lightning 训练数十个单独的模型(>50 个),每个模型都有自己的 TensorBoard 图和日志。我当前的实现每个模型有一个 Trainer 对象,当我超过约 90 个 Trainer 对象时,我似乎遇到了这个错误。有趣的是,该错误仅在我运行 .test() 方法时出现,而不是在 .fit() 期间出现:
Traceback (most recent call last):
File "lightning/main_2.py", line 193, in <module>
main()
File "lightning/main_2.py", line 174, in main
new_trainer.test(model=new_model, test_dataloaders=te_loader)
File "\Anaconda3\envs\pyenv\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1279, in test
results = self.__test_given_model(model, test_dataloaders)
File "\Anaconda3\envs\pyenv\lib\site-packages\pytorch_lightning\trainer\trainer.py", line 1343, in __test_given_model
self.set_random_port(force=True)
File "\Anaconda3\envs\pyenv\lib\site-packages\pytorch_lightning\trainer\distrib_data_parallel.py", line 398, in set_random_port
default_port = RANDOM_PORTS[-1]
IndexError: index -1 is out of bounds for axis 0 with size 0
当我刚开始使用 Lightning 时,我不确定拥有一个培训师/模型是否是最好的方法。但是,我需要每个模型的单独图,并且似乎如果我对多个模型使用单个训练器,结果会被覆盖。
作为参考,我正在定义不同的培训师列表:
for i in range(args["num_users"]):
trainer_list_0.append(Trainer(max_epochs=args["epochs"], gpus=1, default_root_dir=args["save_path"],
fast_dev_run=args["fast_dev_run"], weights_summary=None))
trainer_list_1.append(Trainer(max_epochs=args["epochs"], gpus=1, default_root_dir=args["save_path"],
fast_dev_run=args["fast_dev_run"], weights_summary=None))
trainer_list_2.append(Trainer(max_epochs=args["epochs"], gpus=1, default_root_dir=args["save_path"],
fast_dev_run=args["fast_dev_run"], weights_summary=None))
至于训练:
for i in range(args["num_users"]):
trainer_list_0[i].fit(model_list_0[i], train_dataloader=dataloader_list[i],
val_dataloaders=val_loader)
trainer_list_1[i].fit(model_list_1[i], train_dataloader=dataloader_list[i],
val_dataloaders=val_loader)
trainer_list_2[i].fit(model_list_2[i], train_dataloader=dataloader_list[i],
val_dataloaders=val_loader)
和测试:
for i in range(args["num_users"]):
trainer_list_0[i].test(test_dataloaders=te_loader)
trainer_list_1[i].test(test_dataloaders=te_loader)
trainer_list_2[i].test(test_dataloaders=te_loader)
谢谢!
解决方案
据我所知,Trainer
预计每个模型只有一个。您可以使用预定义的实验名称和版本显式传递TensorBoardLogger
对象,Trainer
以保持绘图分开(请参阅文档)。
from pytorch_lightning import Trainer
from pytorch_lightning.loggers import TensorBoardLogger
logger = TensorBoardLogger("tb_logs", name="my_model", version="version_XX")
trainer = Trainer(logger=logger)
您遇到的问题与 ddp 模块有关。它的源代码包含以下几行[1],[2]:
RANDOM_PORTS = RNG1.randint(10000, 19999, 1000)
def set_random_port(self, force=False):
...
default_port = RANDOM_PORTS[-1]
RANDOM_PORTS = RANDOM_PORTS[:-1]
if not force:
default_port = os.environ.get('MASTER_PORT', default_port)
我不确定您为什么会遇到 90+ Trainer
s 的问题,但是您可以尝试删除此行:
RANDOM_PORTS = RANDOM_PORTS[:-1]
推荐阅读
- javascript - 创建和发送文件而不保存到磁盘
- javascript - 如果键在JavaScript中具有值和对象,如何按值对对象进行排序
- hadoop - 如何加载分区到 Hbase 表的 hive orc
- css - 当溢出隐藏应用于其容器时,为什么浮动元素不会被隐藏?
- mysql - 如何在 MYSQL 的更新表中同时记录旧值和新值与触发器?
- amazon-web-services - Azure Release Pipeline 部署到 AWS EC2
- python - self.draw.draw_polygon(xy, fill, 1) TypeError: 坐标列表必须至少包含 2 个坐标
- android - JSON 卡未显示在 IOS 或 Android 设备上的团队中
- c# - 如何根据声明主体创建身份用户
- python - 隐藏底部 HTML/widget,并从 Streamlit file_uploader() 中删除拖放