java - Spark Job 在 BigTable 上进行前缀查询时卡在最后一个任务中

Question

在此处输入图像描述 在此处输入图像描述我的 Spark 作业经常卡在最后一个查询 Google Cloud BigTable 表的任务中。

Query query = Query.create(tableName).prefix(prefixRowKey);
ServerStream<Row> rowStream = bigtableDataClient.readRows(query);

当执行器处于卡住阶段时，在线程转储下方找到：

执行器线程转储

作业（Yarn UI）卡在最后一个任务中

标签： javaapache-sparkgoogle-cloud-platformgoogle-cloud-bigtable