tensorflow - 如何在使用功能学习率调度程序的每个时期打印学习率?
问题描述
我使用了自定义学习率调度程序。代码如下(与https://www.tensorflow.org/tutorials/text/transformer#optimizer相同)。
class CustomSchedule(tf.keras.optimizers.schedules.LearningRateSchedule):
def __init__(self, d_model, warmup_steps=4000):
super(CustomSchedule, self).__init__()
self.d_model = d_model
self.d_model = tf.cast(self.d_model, tf.float32)
self.warmup_steps = warmup_steps
def __call__(self, step):
arg1 = tf.math.rsqrt(step)
arg2 = step * (self.warmup_steps ** -1.5)
return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1, arg2)
我正在使用model.fit。想在每个纪元结束时打印 lr 。
解决方案
推荐阅读
- database - 执行请求的操作时遇到错误:ORA-00604:
- tcp - 如何通过 Tor 浏览器始终保持登录 Telegram?
- database - dax函数中的power bi整列
- apache-spark - 如何加载没有分区名称(在目录名称中)的分区镶木地板数据集?
- entity-framework - .net 核心授权角色不使用魔术字符串
- reactjs - 用玩笑模拟两个函数
- python - 在 Python 的 statsmodels 中初始化模型
- sql-server - SQL 根据 3 列值获取行
- javascript - 当语言环境设置为 pl 时,Antd datepicker 将星期日显示为一周的第一天
- ms-access - 访问前端和后端同时被用户锁定