hadoop - ParquetWriter 或 AvroParquetWriter 可以单独存储模式吗?
问题描述
你知道吗,ParquetWriter 或 AvroParquetWriter 可以不带数据单独存储 schema 吗?
现在模式被写入镶木地板文件:
AvroParquetWriter.Builder builder = AvroParquetWriter.<GenericRecord>builder(new Path(file.getName()))
.withSchema(payload.getSchema())
.build90;
你知道可以只将没有模式的数据写入镶木地板文件吗?谢谢!
解决方案
@ЭльфияВалиева。不,页脚中的 parquet 元数据(模式)对于为 parquet 阅读器提供必要的模式来读取 parquet 数据是必要的。
推荐阅读
- python - Strange Error with Django oauth-toolkit and Azure App Service. Returns 401 {"detail":"Error decoding token."} when attempting to authenticate token
- c# - 如何编写一个计算句子中数字数量的程序?
- python - 如何在熊猫数据框中的列中组合具有不同值的行
- perl - 断点处的 ARRAY 值不可见
- c# - 使用 Windows 身份验证生成 JWT 时授权属性不起作用
- python - 尝试在函数内除外 - 跳到函数末尾
- javascript - 使用反斜杠和数字查找字符串(js 搜索和正则表达式)
- vaadin - Vaadin Designer 选项卡未正确将子“选项卡”添加到选项卡对象
- flexbox - 如何将 flex 代理端的信息发送到 Twilio 聊天机器人
- azure-web-app-service - 在本地本地服务器上托管 SharePoint Online Webhook 接收器