首页 > 解决方案 > 将 csv 文件加载到 Apache Phoenix 表并记录无效数据行

问题描述

我按照下面链接上的说明使用 MapReduce 将 csv 数据加载到 Phoenix 数据中。 https://phoenix.apache.org/bulk_dataload.html

我成功加载了一个小文件。但是,当我尝试加载数百万条记录的文件时,出现“非法数据”错误并且没有加载任何记录。然后我使用“--ignore-errors”选项绕过错误并加载文件,正如我所料,并非所有记录都根据表记录数加载。

我在某处读到 Phoenix 或 HBase 被大量记录。我想知道是否记录了这些错误,或者我需要做一些 Phoenix 配置来启用日志记录。

此外,上面的页面简要介绍了该工具 - org.apache.phoenix.mapreduce.CsvBulkLoadTool。我在哪里可以找到完整的文档?

标签: apachecsvloggingloadphoenix

解决方案


推荐阅读