hdfs - 如何 Sqoop 从 HDFS 中的不同数据库导入数据

Question

$cat > import.txt
    import
    --connect
    jdbc:mysql://localhost/hadoopdb
    --username
    hadoop
    -password
    abc

在一个 txt 文件中，我将 jdbc url、用户名和密码保存在一个文本文件中，当我调用 sqoop 命令时，我将其调用如下：

sqoop --options-file /user/cloudera/import.txt --table employee

但我想从多个数据库导入 HDFS。对于多个数据库，我该如何处理？我尝试搜索相同的内容，但力求获得任何适当的资源。谁能帮我这个？

标签： hdfssqoop

Answer 1

我通过编写一个带有多个 sqoop 语句的 shell 脚本来实现这一点。每个作业一个 sqoop 语句。您可以让 shell 脚本中的每个语句引用它自己的选项文件。