时间戳

首页 > 解决方案 > 如何处理磁盘瓶颈？

python - 如何处理磁盘瓶颈？

问题描述

在我的 HDD 上进行阅读训练时遇到了瓶颈。

  1. 我不清楚为什么在训练我的 NN 时我的磁盘被大量使用
  2. 也不是为什么选择特定驱动器（磁盘0：D）

训练时的设置和磁盘使用情况：

我假设它默认选择磁盘 0，因为它是磁盘 0（主板配置）；不是这样吗？除了切换电缆之外，我还能以某种方式将其更改为磁盘 1，它对性能有何影响？

我的 GPU(5%) 和 CPU(30%) 几乎没有使用，我在 CPU 向 GPU 提供数据时遇到了瓶颈，当 RAM(93%) 低时，是否有一些地方默认写入磁盘 0 ?

TF：2.1，Windows 10。 Jupyter 笔记本：

#**TEXT TOKENIZATION**

#Model:
epochs = 4
model = Sequential()
model.add(Dense(512, input_shape=(1000,)))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(num_classes))
model.add(Activation('softmax'))

model.compile(loss='binary_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])


history = model.fit(x_train, y_train,
                batch_size=1024,
                epochs=epochs,
                verbose=1,
                shuffle=True,
                use_multiprocessing=True,
                validation_split=0.1)

标签： pythontensorflowkeras

解决方案

  1. 当 RAM 溢出时，操作系统正在使用分页。

  2. Processor list->Performance->RAM: Read virtual/Allocated RAM... 驻留在您的磁盘驱动器中，如果磁盘错误，可以通过以下方式在 Windows 中更改：

系统->高级->性能->高级->更改

重新分配，然后重新启动。

来源：https ://www.tomshardware.com/news/how-to-manage-virtual-memory-pagefile-windows-10,36929.html

推荐阅读