时间戳

首页 > 解决方案 > 从 s3 中的 csv 文件跳过页脚到 Athena

amazon-web-services - 从 s3 中的 csv 文件跳过页脚到 Athena

问题描述

我在 AWS Athena 中创建外部表时遇到问题。我有超过 1000 个 csv 文件，全部带有页眉和页脚，我想创建一个 Athena 表来可视化和分析所有数据。

我尝试使用以下代码，但似乎删除页脚的属性不起作用：

CREATE EXTERNAL TABLE test.multi_file_test(
  `value1` string COMMENT '', 
  `value2` string COMMENT '', 
  `value3` string COMMENT '')
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '\;' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  's3://s3_path'
TBLPROPERTIES (
'areColumnsQuoted'='false',
'skip.header.line.count'='1',
'skip.footer.line.count'='1' <<<--- It doesn't seem to work

我得到这个结果

价值1 价值2 价值3
from_file1 一个 1
from_file1 乙 1
页脚文件1
from_file2 一个 2
from_file2 乙 2
页脚文件2
from_file3 一个 3
from_file3 乙 3
页脚文件3

但我需要得到这个结果：

价值1 价值2 价值3
from_file1 一个 1
from_file1 乙 1
from_file2 一个 2
from_file2 乙 2
from_file3 一个 3
from_file3 乙 3

任何建议或解决方案都会很棒。

我谢谢大家

标签： amazon-web-servicescsvamazon-s3footeramazon-athena

解决方案

恐怕亚马逊雅典娜没有办法这样做。

推荐阅读