python - 如何在使用 fit_generator 和 evaluate_generator 训练我的网络时绘制 AUC 和 ROC?
问题描述
我正在使用生成器来训练和预测我的数据的分类。这是ImageDataGenerator的示例
from keras.preprocessing.image import ImageDataGenerator
batch_size = 16
train_datagen = ImageDataGenerator(
rescale=1./255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
test_datagen = ImageDataGenerator(rescale=1./255)
train_generator = train_datagen.flow_from_directory(
'data/train', # this is the target directory
target_size=(150, 150),
batch_size=batch_size,
class_mode='binary')
validation_generator = test_datagen.flow_from_directory(
'data/validation',
target_size=(150, 150),
batch_size=batch_size,
class_mode='binary')
model.fit_generator(
train_generator,
steps_per_epoch=2000 // batch_size,
epochs=50,
validation_data=validation_generator,
validation_steps=800 // batch_size)
model.save_weights('first_try.h5') # always save your weights after training or during training
我的问题是如何在使用时创建AUC 和 ROCfit_generator
?
解决方案
我认为在这种情况下你最好的选择是将 AUC 定义为一个新指标。为此,您必须在 tensorflow 中定义指标(我假设您使用的是 tensorflow 后端)。
我之前尝试过的一种方法(但是,我不记得我测试过结果的正确性)是这样的:
def as_keras_metric(method):
"""
This is taken from:
https://stackoverflow.com/questions/45947351/how-to-use-tensorflow-metrics-in-keras/50527423#50527423
"""
@functools.wraps(method)
def wrapper(*args, **kwargs):
""" Wrapper for turning tensorflow metrics into keras metrics """
value, update_op = method(*args, **kwargs)
tf.keras.backend.get_session().run(tf.local_variables_initializer())
with tf.control_dependencies([update_op]):
value = tf.identity(value)
return value
return wrapper
然后在编译模型时定义度量:
model.compile(metrics=['accuracy', as_keras_metric(tf.metrics.auc)], optimizer='adam', loss='categorical_crossentropy')
尽管这会吐出数字,但我尚未确定它们是否正确。如果您能够对此进行测试,并且它给出了正确的结果,请告诉我,我很想知道。
解决此问题的第二种方法是使用回调类并至少定义on_epoch_end
函数,然后您可以sklearn
roc_auc_score
从那里调用并打印或保存到日志中。
但是,到目前为止我发现,您需要通过 向它提供训练数据__init__
,因此对于生成器,您需要确保回调的生成器提供与模型的拟合生成器相同的数据。另一方面,对于验证生成器,可以使用 回调类访问它self.validation_data
,这与提供给 的回调类相同fit_generator
。
推荐阅读
- docker-compose - 如何在 docker-compose 中将绝对主机路径挂载为命名卷?
- .net - .net 核心应用程序 SignInAsync 从不同域失败
- node.js - 如何在 Node Express 中使用具有基本 href 的索引来提供静态文件?
- swiftui - Xcode 11 -- SwiftUI 的暗模式设置
- android - 如何使用 dagger2 限制 ViewModelFactory 的范围?
- python - 如何将一个数据框的列值附加到另一个数据框的列
- excel - 寻找合并单元格的边界?
- python-3.x - 如何通过 Python 使用 Selenium 登录 suntrust 银行账户
- python - 在唯一 ID 上连接两个数据帧,但如果 id 不存在则使用另一个值
- javascript - 类型“Actionmodel”不可分配给类型“布尔”