apache-spark - spark怎么写parquet文件？
问题描述
当使用 Spark 3.x 将 parquet 文件写入本地文件系统或 s3 或 HDFS 时，这些配置会影响 spark write parquet 的方式？
- spark.hadoop.parquet.dictionary.page.size
- spark.hadoop.parquet.block.size
- spark.hadoop.parquet.page.size
- spark.hadoop.parquet.enable.dictionary
解决方案
推荐阅读
- javascript - 如何将数组中的特定标签和值添加到图表中 - ChartJS
- c - 如何从 C 中的 IPv6 套接字读取 HTTP 标头？
- git - 为什么 git bisect 建议相当奇怪的提交？
- html - 如何在父 div 中放置表格内容？
- reactjs - 如何在 redux-forms/final-forms 中呈现适当的下拉选项？
- javascript - 如何在孩子中扩展父母的财产
- xslt - 如何计算没有。xsl:choose 语句在 xsl:for-each 中执行的次数？
- flutter - 为什么 Flutter2.5 图标文本字段颜色由黑色变为白色？
- in-app-purchase - 如何在android中恢复应用内购买
- database - Laravel 查询：如何分组 DB：原始查询