python - GAN训练的难点
问题描述
我正在尝试训练 GAN 来学习事件中许多特征的分布。训练的鉴别器和生成器的损失很低,但生成的事件具有不同的形状分布,但我不确定为什么。
我将 GAN 定义如下:
def create_generator():
generator = Sequential()
generator.add(Dense(50,input_dim=noise_dim))
generator.add(LeakyReLU(0.2))
generator.add(Dense(25))
generator.add(LeakyReLU(0.2))
generator.add(Dense(5))
generator.add(LeakyReLU(0.2))
generator.add(Dense(len(variables), activation='tanh'))
return generator
def create_descriminator():
discriminator = Sequential()
discriminator.add(Dense(4, input_dim=len(variables)))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(4))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(4))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(1, activation='sigmoid'))
discriminator.compile(loss='binary_crossentropy', optimizer=optimizer)
return discriminator
discriminator = create_descriminator()
generator = create_generator()
def define_gan(generator, discriminator):
# make weights in the discriminator not trainable
discriminator.trainable = False
model = Sequential()
model.add(generator)
model.add(discriminator)
model.compile(loss = 'binary_crossentropy', optimizer=optimizer)
return model
gan = define_gan(generator, discriminator)
我使用这个循环训练 GAN:
for epoch in range(epochs):
for batch in range(steps_per_epoch):
noise = np.random.normal(0, 1, size=(batch_size, noise_dim))
fake_x = generator.predict(noise)
real_x = x_train[np.random.randint(0, x_train.shape[0], size=batch_size)]
x = np.concatenate((real_x, fake_x))
# Real events have label 1, fake events have label 0
disc_y = np.zeros(2*batch_size)
disc_y[:batch_size] = 1
discriminator.trainable = True
d_loss = discriminator.train_on_batch(x, disc_y)
discriminator.trainable = False
y_gen = np.ones(batch_size)
g_loss = gan.train_on_batch(noise, y_gen)
我的真实事件使用 sklearn 标准缩放器进行缩放:
scaler = StandardScaler()
x_train = scaler.fit_transform(x_train)
产生事件:
X_noise = np.random.normal(0, 1, size=(n_events, GAN_noise_size))
X_generated = generator.predict(X_noise)
然后,当我在训练几百到几千个 epoch 后使用经过训练的 GAN 来生成新事件并进行缩放时,我得到的分布如下所示:
这看起来类似于模式崩溃,但我看不出这会如何导致这些极值,在这些极值之外,一切都被切断了。
解决方案
模式崩溃导致生成器找到最能欺骗鉴别器的几个值或小范围的值。由于您生成的值范围相当窄,我相信您正在经历模式崩溃。您可以训练不同的持续时间并绘制结果以查看何时发生崩溃。有时,如果你训练的时间足够长,它会自行修复并重新开始学习。有十亿条关于如何训练 GAN 的建议,我收集了一堆,然后为每个 GAN 强行通过它们。您可以尝试每隔一个周期只训练判别器,以便让生成器有机会学习。此外,有几个人建议不要同时对真假数据训练判别器(我没有这样做,所以不能说影响是什么,如果有的话)。您可能还想尝试添加一些批量标准化层。Jason Brownlee 有很多关于训练 GAN 的好文章,你可能想从那里开始。
推荐阅读
- powershell - 使用查找文件和创建参数的 Powershell 转换批处理命令
- google-sheets - 当我在 Google 表格中向下拖动公式时,单元格未更新
- c# - 如何将对象序列化为 JSON 并将其异步写入 .Net Core 3.1 中的管道?
- azure-devops - ADO 管道变量使用已安装的 nuget 版本作为变量
- java - Java Selenium 3.14 和 Edge Chromium - 如何开始工作?
- html - 一个问题和
- python - 使用flask-restplus在flask-SQLAlchemy中创建多对多关联表时出错
- python - Selenium 找不到类
- javascript - 为什么这个正则表达式会拆分第二个双引号而不是第一个双引号?
- flutter - CheckBox 值,我想添加,如果用户选中复选框,那么它应该添加 amount=amount + 18% ,如果不是那么只计算我的代码