时间戳

首页 > 解决方案 > 通过 gcloud dataproc 读取张量文件

tensorflow - 通过 gcloud dataproc 读取张量文件

问题描述

你好我应该如何修改我的代码以正确读取数据集2？

 %%writefile read_rdd.py 
def read_RDD(argv):
  parser = argparse.ArgumentParser() # get a parser object
  parser.add_argument('--test_set', metavar='test_set', type =ParallelMapDataset) 
  args = parser.parse_args(argv) # read the value
  args.test_set.take(3) 
  for i in args.test_set:
    print(i)

并执行 

test_set = dataset2     #dataset2 cannot be inserted
!gcloud dataproc jobs submit pyspark --cluster $CLUSTER --region $REGION \
    ./read_rdd.py \
    --  --test_set $test_set 

                                                                                                                                  aditional information

type(dataset2) = tensorflow.python.data.ops.dataset_ops

我试图将 type =ParallelMapDataset 更改为 type=argparse.FileType('r') 但它也不起作用

目前我无法提交正在安装的工作

/bin/bash：-c：第 0 行：意外令牌附近的语法错误(' /bin/bash: -c: line 0:gcloud dataproc 作业提交 pyspark --cluster bigdatapart2-cluster --region us-central1 ./read_rdd.py -- --test_set '

标签： tensorflowpysparkrddargparsegoogle-cloud-dataproc

解决方案

请注意，您传递的参数gcloud dataproc jobs submit pyspark被转换为标准命令行。尝试用引号括起参数：

test_set = dataset2     #dataset2 cannot be inserted
!gcloud dataproc jobs submit pyspark --cluster $CLUSTER --region $REGION \
    ./read_rdd.py \
    --  --test_set "$test_set"

推荐阅读