首页 > 解决方案 > 使用大数据运行 cron 作业

问题描述

我在 AWS 上运行 RStudio,我有一个 cron 作业设置,每 5 分钟运行一次。唯一的问题是我想让这项工作使用两个相当大的数据文件(一个是 1.3gb .rds,另一个是 2.2gb .feather)来执行一些计算,但是 readRDS/read_feather 需要太长时间.

有什么方法可以执行缓存数据的 cron 作业,或者是否有另一种方法来解决这个问题(作业应该在下一个 5 分钟标记之前按时完成)而不诉诸于,比如说,无限循环执行这个函数全球环境?

谢谢!

标签: ramazon-ec2cronbigdata

解决方案


推荐阅读