apache-spark - 是否可以在程序完成后告诉 Spark 删除工作目录？
问题描述
我的程序包含相当多的 jar 文件，这些文件被复制到应用程序的每个执行程序的工作目录中。这些目录位于 $SPARK_HOME/work。这些目录包含程序的库和日志（stdout 和 stderr）。请注意，我在这里不是在谈论 Spark 的 tmp 目录，因为它们是另外一回事。
由于这些目录可能会变得很大，我想在我的程序完成后立即删除这些目录。一种方法显然是自己编写一些脚本来做到这一点，但有没有一种方法可以命令 Spark 为我做这件事，即在程序完成后立即删除它们？
解决方案
推荐阅读
- python - break 运算符是否将 while 循环条件从 True 变为 False？
- algorithm - 硬币游戏问题输入为7时的获胜方式数
- c++14 - 禁止对给定类使用 auto，C++14 与 C++17 更新
- html - HTML 块元素在刷新时移动（更改边距）
- javascript - 如何阻止 Javascript Foliotek 的 Croppie 用最新上传的图像覆盖同一页面上先前裁剪和上传的图像
- c# - c#/.net core3.0 System.Text.Json - JsonSerializer.SerializeAsync？
- c++ - C ++查找算法：如何找到元素的最后一次出现？
- firebase - 在 Kotlin 中以同步方式运行异步任务
- node.js - 我应该如何在redis中存储一个数组？
- excel - 如何在多次试验中在 Excel 工作表中重新计算（F9/模拟）时记录单个单元格的结果