hive - Athena 的 .csv.metadata 文件的数据格式是什么?
问题描述
.csv.metadata
Amazon Athena 写入的文件的数据格式是什么?
除了每个查询的输出文件之外,还有一个元数据文件。看起来它描述了结果的架构。我假设这是 Athena 用来创建请求ResultSet.ResultSetMetadata
响应的一部分GetQueryResults
,并且它是由 Hive 或 Presto 以某种方式创建的。
2019-04-23 14:51:29 27 e7629796-9b91-476a-bfb7-2fe6c9595bce.csv
2019-04-23 14:51:29 56 e7629796-9b91-476a-bfb7-2fe6c9595bce.csv.metadata
2019-04-27 14:23:53 1591958 ebe432ac-db7b-4ea1-b5de-529350d1a02a.csv
2019-04-27 14:23:53 712 ebe432ac-db7b-4ea1-b5de-529350d1a02a.csv.metadata
2019-04-25 16:31:23 10152 eeb6f4ab-9ac3-4a7e-81c4-0cc155187acb.csv
2019-04-25 16:31:23 494 eeb6f4ab-9ac3-4a7e-81c4-0cc155187acb.csv.metadata
2019-04-25 22:30:56 22384376 f0160ff7-e5b3-466d-926a-a660a5208c5f.csv
2019-04-25 22:30:56 494 f0160ff7-e5b3-466d-926a-a660a5208c5f.csv.metadata
这是e7629796-9b91-476a-bfb7-2fe6c9595bce.csv.metadata
上面清单中的十六进制转储:
00000000 0a 1b 32 30 31 39 30 34 32 33 5f 31 32 35 31 32 |..20190423_12512|
00000010 38 5f 30 30 30 30 31 5f 65 68 74 75 72 22 19 0a |8_00001_ehtur"..|
00000020 04 68 69 76 65 22 03 61 72 79 2a 03 61 72 79 32 |.hive".ary*.ary2|
00000030 05 61 72 72 61 79 48 03 |.arrayH.|
它ResultSet.ResultSetMetadata
看起来像这样:
"ResultSetMetadata": {
"ColumnInfo": [
{
"CatalogName": "hive",
"SchemaName": "",
"TableName": "",
"Name": "ary",
"Label": "ary",
"Type": "array",
"Precision": 0,
"Scale": 0,
"Nullable": "UNKNOWN",
"CaseSensitive": false
}
]
}
我意识到这些是雅典娜的内部文件,但我很好奇。
解决方案
推荐阅读
- html - 为什么缩小时我的html表中的列不统一
- css - Vuetify JS 2.x 卡片内容 z-index
- jwt - invalid_client 使用 Apple REST API 调用登录时出错
- php - Apache,Apache 默认文件夹,Apache PHP 不解析
- html - 如何将复选框变成按钮?
- php - 似乎 CSS 和一些错误正在保存到用户帐户 - 也许是会话?
- django - 如何防止在登录django时进入登录页面
- python - 在python中,循环n次具有不同值的list.insert只插入最后一个值n次为什么?
- javascript - 已解决:jsp编码显示问题
- python - 在 python 中验证“MM/DD/YYYY hh:mm”的正则表达式函数