tensorflow - 如何让 TensorFlow 使用 100% 的 GPU?
问题描述
我有一台配备 RTX 2060 GPU 的笔记本电脑,我正在使用 Keras 和 TF 2 在其上训练 LSTM。我也在监控 gpu 的使用情况nvidia-smi
,我注意到 jupyter notebook 和 TF 最多使用 35%,通常 gpu 的使用率在 10-25% 之间。
以目前的情况,训练这个模型花了7个多小时,我想知道是我做错了什么还是Keras和TF的限制?
我的 nvidia-smi 输出:
Sun Nov 3 00:07:37 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 430.26 Driver Version: 430.26 CUDA Version: 10.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce RTX 2060 Off | 00000000:01:00.0 On | N/A |
| N/A 51C P3 22W / N/A | 834MiB / 5931MiB | 24% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| 0 1032 G /usr/lib/xorg/Xorg 330MiB |
| 0 1251 G /usr/bin/gnome-shell 333MiB |
| 0 1758 G ...equest-channel-token=622209288718607755 121MiB |
| 0 5086 G ...uest-channel-token=12207632792533837012 47MiB |
+-----------------------------------------------------------------------------+
我的 LSTM:
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.layers import LSTM
from tensorflow.keras.layers import Dropout
regressor = Sequential()
regressor.add(LSTM(units = 180, return_sequences = True, input_shape = (X_train.shape[1], 3)))
regressor.add(Dropout(0.2))
regressor.add(LSTM(units = 180, return_sequences = True))
regressor.add(Dropout(0.2))
regressor.add(LSTM(units = 180, return_sequences = True))
regressor.add(Dropout(0.2))
regressor.add(LSTM(units = 180, return_sequences = True))
regressor.add(Dropout(0.2))
regressor.add(LSTM(units = 180, return_sequences = True))
regressor.add(Dropout(0.2))
regressor.add(LSTM(units = 180))
regressor.add(Dropout(0.2))
regressor.add(Dense(units = 1))
regressor.compile(optimizer = 'adam', loss = 'mean_squared_error')
regressor.fit(X_train, y_train, epochs = 10, batch_size = 32, callbacks=[cp_callback])
解决方案
假设后者已正确安装,TensorFlow 会自动通过 CUDA 和 cuDNN 优化 GPU 资源分配。您看到的使用统计主要是内存/计算资源“活动”,不一定是实用程序(执行);看到这个答案。您的效用“仅”为 25% 是一件好事 - 否则,如果您大幅增加模型大小(按原样并不大),您就会 OOM。
为了增加使用,增加批量大小、模型大小或任何会增加计算并行度的东西;请注意,使模型更深会增加 GPU 的内存效用,但远不如它的计算效用。
此外,请考虑使用CuDNNLSTM
而不是LSTM
,它可以运行速度快 10 倍并使用更少的GPU 内存(由算法工艺提供),但更多的计算效用。最后,Conv1D
作为第一层插入strides > 1
将通过减少输入大小显着提高列车速度,而不必损害性能(实际上它可以改善它)。
更新:超频 GPU 是一种选择,但我建议不要这样做,因为从长远来看它会磨损 GPU(并且所有 DL 都是“长期”)。还有“过电压”和其他硬件调整,但都应该用于一些简短的应用程序。最大的不同是您的输入数据管道。
推荐阅读
- matlab - 在MATLAB中求解非线性方程组时出错
- c++ - 返回具有随机值的对象的模板函数
- sql - SQL Server 条件下的日期和浮点数转换
- css - 打印文档中未保留填充
- docker - 从 Docker 内的 gatling 模拟连接到 localhost
- node.js - 无法从 Gitlab 获取 AWS S3 的环境变量
- javascript - 不和谐机器人踢
- node.js - NodeJS mongo 等待/异步函数
- arrays - 如何通过当前 shell(zsh/bash)检测数组起始索引?
- arrays - Angular 9 - 将删除的 li 添加到另一个 ul - 事件绑定