时间戳

首页 > 解决方案 > 有没有其他方法可以使这个（--incremental lastmodified）与--hive-imports一起工作

hadoop - 有没有其他方法可以使这个（--incremental lastmodified）与--hive-imports一起工作

问题描述

我正在尝试为 hive 中的增量导入创建一个 sqoop 作业。

sqoop 作业 --create user_rating_import --meta-connect \ jdbc:hsqldb:hsql://192.168.225.129:16000/sqoop \ -- import --connect jdbc:postgresql://192.168.148.1:5432/movielens --username anm \ --table rating -m 8 --target-dir /user/hive/warehouse/user_rating --incremental lastmodified --fields-terminated-by ',' \ --check-column rating_at --append --as- parquetfile --hive-import \ --hive-table user_rating_fact

生成这个：

2003 年 19 月 12 日 21:39:23 信息 sqoop.Sqoop：运行 Sqoop 版本：1.4.7 -- 不支持配置单元导入的增量 lastmodified 选项。请去掉参数--incremental lastmodified。

标签： hadoophivesqoopdata-warehousepgadmin

解决方案

请试试这个： sqoop job --create user_rating_import --meta-connect \ jdbc:hsqldb:hsql://192.168.225.129:16000/sqoop \ -- import --connect jdbc:postgresql://192.168.148.1:5432/ movielens --driver com.mysql.jdbc.Driver --username anm --table rating -m 8 --hive-import --target-dir "/user/hive/warehouse/user_rating" --fields-terminated-by ' ,' --check-column rating_at --append --as-parquetfile--hive-table "user_rating_fact"

推荐阅读