时间戳

首页 > 解决方案 > 带有多个 papermill 命令的 Bash 脚本不会因笔记本错误而失败

python - 带有多个 papermill 命令的 Bash 脚本不会因笔记本错误而失败

问题描述

我有一个refresh_data.sh包含多个造纸厂命令的文件，例如：

papermill notebook_1.ipynb output_1.ipynb -p start "2017-12-01" -p date "2017-12-31"
papermill notebook_2.ipynb output_2.ipynb -p start "2018-01-01" -p date "2018-01-31"

如果我在运行第一个笔记本时遇到错误，该进程将继续执行第二个。

换句话说，其中一个笔记本中的错误不会“破坏”整个脚本。

据我记得，如果 bash 脚本中的某个命令出现错误，则使用普通的 python 脚本会中断整个脚本的执行。

在这种情况下，bash 脚本的标准行为是什么？我可以更改它以便在出现错误时立即停止吗？

标签： pythonbashjupyter-notebookjupyterpapermill

解决方案

如果您的 bash 脚本配置为：set -e如果命令出错，它将失败：

错误时自动退出 bash shell 脚本

#!/bin/bash
set -e
# Any subsequent(*) commands which fail will cause the shell script to exit immediately

您可以使用以下方式运行造纸厂：

--log-output获取有关笔记本电脑故障原因的更多信息。

papermill "${INPUT_NOTEBOOK_PATH}" "${OUTPUT_NOTEBOOK_PATH}" --log-output

要捕获笔记本执行结果，您始终可以使用以下命令捕获任何先前命令的结果$?：

  papermill "${INPUT_NOTEBOOK_PATH}" "${OUTPUT_NOTEBOOK_PATH}" --log-output
  notebook_result=$?
  if [[ ${notebook_result} -eq 0 ]]; then
    echo "All good"
  else
    echo $notebook_result
  fi

推荐阅读