hive - 数据存在于 HDFS 中,但未在配置单元表中获取
问题描述
我已经通过 spark 程序从 hive 表中加载了记录,数据成功加载到 HDFS 中,但没有在 Hive 表中获取记录。
请在下面找到我们正在使用的压缩技术。
sprark.write
.option(Parquet.compress,SNAPPY)
.format(parquet)
.mode(SaveMode.Append)
.save(s${tablePath}/${dbName}.${targetTableName})
请给我这个问题的解决方案。
解决方案
请试试这个。df.repartition(1).write.format("parquet").insertInto('DbName.TableName',overwrite=True)
推荐阅读
- html - Django 自定义 404 页面未按预期工作
- angular - 从应用程序组件到路由的 Angular 通信
- javascript - 使用 DocumentClient 存储时出现在 JSON 中的 DynamoDB WrapperName
- excel - 如何在 Excel 中点击超链接并关闭原始文件?
- ios - 匿名函数的 Swift 队列
- sql - SQL如何在已经使用max时获取最大日期
- java - 将数据从树莓派发送到 Java 应用程序?
- elasticsearch - 我可以远程访问 elasticsearch-head-master 吗?
- sql - Postgres如何从键之间的一对多关系中仅选择一行
- python - 遍历 if 语句中的列表以检查可能的结果