kedro - Kedro 是否支持检查点/结果缓存?
问题描述
假设我们有多个长时间运行的管道节点。检查点或缓存中间结果似乎很简单,所以当检查点之后的节点被更改或添加时,只有这些节点必须再次执行。
Kedro 是否提供功能来确保当我运行管道时只执行那些已更改的步骤?反过来,有没有办法确保执行所有已更改的步骤?
假设一个产生一些中间结果的管道发生了变化,当我根据第一个输出执行管道时,它会被执行吗?
TL;DR: Kedro 是否makefile
对需要做什么和不做什么有类似的跟踪?
我认为我的问题类似于issue #341,但我不需要循环图的支持。
解决方案
您可能希望查看IncrementalDataSet以及分区数据集文档,特别是关于增量数据集的增量加载部分,该部分具有“检查点”的概念,尽管检查点是手动步骤,而不是像makefile
.
推荐阅读
- angular - Angular 4 - IE、Firefox 400 错误请求
- html - AngularJS - 占位符值自动更改
- python - 如何将字符串拆分为逗号上的数组但忽略括号中的逗号
- facebook - 将 Facebook“App Access Token”或“App Secret”嵌入移动应用程序是否安全?
- ios - 如何使用 iOS 共享扩展打开 1password 从 expo 填写密码?
- javascript - 如何将图像放在包含 JavaScript 的 div 上?
- python - 从另一个文件导入时的 Python nameError 帮助
- openshift - 如何理解 OpenShift pod 的 CPU 使用率指标
- java - 如何在 Jython 上制作 Sphinx 项目?
- javascript - 如何在 JavaScript 或 jQuery 中使用每个数组记录的多个对象对数组进行排序