presto - 从 Alluxio 读取超时

Question

我在 Alluxio 上执行 Presto 查询时遇到了这个错误。这个超时是什么意思，我该如何解决？

com.facebook.presto.spi.PrestoException：使用 org.apache.hadoop.mapred.TextInputFormat 打开 Hive 拆分 alluxio://xxxxx:19998/s3/data/m-00020（偏移量=134217728，长度=67108864）时出错：超时从 [id: 0x23615709, L:/xxxxx:34740 - R:xxxxx/xxxxx:29999] 读取 39963328512

标签： prestoalluxio

Answer 1

当 Alluxio worker 花费太长时间（可通过 配置alluxio.user.network.netty.timeout）向客户端提供数据时，您将收到此错误。

一种简单的解决方法是增加超时。

然而，这通常是工人以某种方式超载的症状。在您的设置中检查的常见事项：

1. Alluxio 工作负载，如果您的计算位于同一位置并且没有资源管理，则可能会出现问题
2. Alluxio worker 在文件系统负载/带宽下，这通常是对象存储等远程存储的瓶颈。

如果这些是瓶颈，您可以尝试降低并发性或增加集群中的节点数。