apache-spark - 使用 Pyspark 插入时锁定配置单元表
问题描述
我正在尝试从同一数据库中的其他表同时将数据插入配置单元表，要求是每当插入发生时，另一个插入语句应该等到当前语句完成。
从 Hive CLI 加载时这工作正常，但使用 spark 时，锁定机制不起作用。
我知道Spark从版本> 2.0开始不支持Lock in Hive表，我的spark版本是2.6
来自 Spark hivecontext 的查询会锁定 hive 表吗？
有什么办法可以使用火花来完成吗？
我正在尝试从同一数据库中的其他表同时将数据插入配置单元表，要求是每当插入发生时，另一个插入语句应该等到当前语句完成。
从 Hive CLI 加载时这工作正常，但使用 spark 时，锁定机制不起作用。
我知道Spark从版本> 2.0开始不支持Lock in Hive表，我的spark版本是2.6
来自 Spark hivecontext 的查询会锁定 hive 表吗？
有什么办法可以使用火花来完成吗？
标签： apache-sparkpysparkhiveapache-spark-sql