时间戳

首页 > 解决方案 > 如何使用 sqoop 仅将两个表导入配置单元

apache-spark - 如何使用 sqoop 仅将两个表导入配置单元

问题描述

我在sqoop中看到要导入表，我们有 import-all-tables 或只是将表名导入配置单元，但我有 100 个表，我想一次只导入两个表，我该如何实现？

标签： apache-sparkhadoophivebigdatasqoop

解决方案

你可以做一个这样的shell脚本：

while read line;
do

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2`


    sqoop import -Dmapreduce.job.queuename=$QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName  --target-dir $DATA_COLLECTOR/$tableName  --fields-terminated-by '\001'  -m 1 

done<inputFile

推荐阅读