时间戳

首页 > 解决方案 > Hive 中的 DROP TABLE（通过 Spark）挂起

hive - Hive 中的 DROP TABLE（通过 Spark）挂起

问题描述

我删除 HIVE 表的尝试挂起并最终被杀死，但以下例外。我认为它可能是锁，但是当我尝试执行该SHOW LOCKS语句时，我得到另一个异常（java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. show Locks LockManager not specified）。我事件去了 Hive 元存储并检查了 HIVE_LOCKS 表，但它是空的。还有什么问题？

18/06/06 08:07:02 WARN RetryingMetaStoreClient: MetaStoreClient lost connection. Attempting to reconnect.
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

标签： hivepyspark

解决方案

所以问题确实是超时。有问题的表有大约 25k 分区，删除时间太长。我解决了这个问题，首先在一个循环中删除所有分区，然后删除表。

推荐阅读