时间戳

首页 > 解决方案 > 加载大数据时 Azure Batch 失败

r - 加载大数据时 Azure Batch 失败

问题描述

我正在加载约 2 GB 的数据，以便在超过 10 台机器的 Azure Batch 中执行一些任务。无论我分配什么类型的机器，任务总是失败。（当我将大小减小到小于 500 MB 时它不会失败）。文件夹中没有报告错误logs但是我在文件夹中得到以下错误stderr，这与 readRDS 的运行时错误有关吗？有什么参数可以增加吗？谢谢，

'/usr/local/lib/R/bin/R --no-echo --no-restore --no-save --no-environ --no-restore --no-site-file --file=/mnt/batch/tasks/workitems/job20210430184501/job-1/jobpreparation/wd/worker.R --args 1 1 0 pass'

Error in readRDS(paste0(batchJobPreparationDirectory, "/", batchJobEnvironment)) : 
  error reading from connection
Execution halted

标签： razureazure-batch

解决方案

这不是 Azure Batch 的问题，而是您正在使用的程序/库或您如何使用所述程序/库的问题。如果指定为资源文件的一部分的文件没有正确下载（即，您将看不到stdout.txt或stderr.txt因为与任务关联的进程不会被创建），您的任务将不会开始执行。

推荐阅读