amazon-web-services - 如何在 AWS Sagemaker 中使用 Tensorboard
问题描述
我指的是以下链接以在 Sagemaker 脚本模式方法中使用 Tensorboard。
https://www.tensorflow.org/tensorboard/get_started
下面是我的训练脚本中的张量板回调,它是一个 .py 文件
model = create_model()
model.compile(optimizer='adam',
loss='sparse_categorical_crossentropy',
metrics=['accuracy'])
log_dir = "logs/fit/" + datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=log_dir, histogram_freq=1)
model.fit(x=x_train,
y=y_train,
epochs=5,
validation_data=(x_test, y_test),
callbacks=[tensorboard_callback])
在笔记本中,我正在创建下面的 Tensorflow Estimator,我将上面的脚本文件名作为 entry_point 传递。
estimator = TensorFlow(
entry_point='Script_File.py',
train_instance_type=train_instance_type,
train_instance_count=1,
model_dir=model_dir,
hyperparameters=hyperparameters,
role=sagemaker.get_execution_role(),
base_job_name='tf-fashion-mnist',
framework_version='1.12.0',
py_version='py3',
output_path=<S3 Path>,
script_mode=True,
)
我在笔记本中使用以下代码开始培训。
estimator.fit(inputs)
训练完成后,我将在终端中使用以下代码(也已在我的笔记本单元格中尝试过)来启动 tensorboard。
tensorboard --logdir logs/fit
但是在张量板上我无法查看任何图表。它显示消息“无法获取运行”。有什么我想念的吗?或者我是否必须在脚本中进行任何额外设置才能在 Tensorboard 中查看我的日志?
解决方案
您的张logdir
量板不是logs/fit
.. 但附加了当前日期。尝试使用logs/fit
aslog_dir
并查看它是否有效。
编辑
如果你想在本地使用 tensorboard,你必须将 tensorboard 日志发送到 S3 并从那里读取。为此,您必须执行第三个链接示例所做的操作,因此请包含 sagemaker 调试器:
从 sagemaker.debugger 导入 TensorBoardOutputConfig
tensorboard_output_config = TensorBoardOutputConfig(s3_output_path='s3://path/for/tensorboard/data/emission', container_local_output_path='/local/path/for/tensorboard/data/emission')
那么您的张量板命令将类似于:
AWS_REGION= <您的区域> AWS_LOG_LEVEL=3 张量板 --logdir s3://path/for/tensorboard/data/emission
或者,如果您想在笔记本中使用 tensorboard,则必须执行第二个链接示例所做的操作,因此只需安装在单元格中并使用以下内容运行 tensorboard:
https://<笔记本实例主机名>/proxy/6006/
推荐阅读
- node.js - 使用 google apis node.js 客户端插入 Google 任务时为空标题
- python - 如何在 python3 中遍历 JSON/dict?
- scikit-learn - 试图理解 SKLearn 回归预测数组
- javascript - 如何在javascript中循环遍历一个unciode json字符串?
- css - 当行悬停在 ag-grid 中时,在单元格中呈现附加信息
- python - pygame.mouse.get_pressed() 在我的按钮功能中没有按我的需要工作
- php - in_array 函数可能失败有什么限制吗?
- java - 如何从 Tablayout 中删除高程?
- modeling - 如何在富文本编辑器中拥有变量
- python - 了解python中的范围