时间戳

首页 > 解决方案 > 使用 Apache-Drill 查询镶木地板文件时出错：镶木地板记录读取器中的错误

parquet - 使用 Apache-Drill 查询镶木地板文件时出错：镶木地板记录读取器中的错误

问题描述

我需要使用 parquet 文件来进行一些分析并用信息丰富它们。但是，由于列数据类型（无符号整数）不兼容，我无能为力。

我尝试使用 Apache-drill，但是当我想执行一些查询时会发生同样的错误。

这是我要开始使用的查询和错误消息：SELECT * from dfs.'/home/artyom/addresses.parquet' LIMIT 5;

Error: INTERNAL_ERROR ERROR: Error in parquet record reader.
Message: 
Hadoop path: /home/artyom/addresses.parquet/part.0.parquet
Total records read: 0
Row group index: 0
Records in row group: 34369585
Parquet Metadata: ParquetMetaData{FileMetaData{schema: message schema
{
  optional binary ip (UTF8);
  optional int64 ip_id (UINT_64);
  optional int32 reputation (UINT_8);
  optional int32 confidence (UINT_8);
  optional float queries_ratio;
(...)
}

但是像 : 这样的查询SELECT ip from dfs.'/home/artyom/addresses.parquet' LIMIT 5;或者SELECT queries_ratio from dfs.'/home/artyom/addresses.parquet' LIMIT 5;像魅力一样工作。只有无符号整数列是一个问题。

我阅读了有关转换数据类型的 apache-drill 文档并尝试了几件事但没有成功。

有人可以帮我解决这个问题并告诉我是否有办法将 UINT_X 转换为兼容的 INTEGER 类型？从无符号整数到整数的转换对数据来说不是问题。我只需要了解如何修改 parquet 文件的列数据类型。非常感谢！

标签： parquetapache-drill

解决方案

您能否澄清一下，您使用的是哪个版本的 Drill？看起来读取 UINT 类型的问题已在DRILL-4764和DRILL-5971的范围内修复。

所以它应该适用于 Drill 1.14 及更高版本。

推荐阅读