时间戳

首页 > 解决方案 > 如何从 Sqoop 导入中捕获已处理记录的计数？

hadoop - 如何从 Sqoop 导入中捕获已处理记录的计数？

问题描述

要将数据从我的数据库复制到 S3，我使用以下命令。

sqoop import -D mapreduce.job.name= xxx-D mapred.job.queue.name=user -Dhadoop.security.credential.provider.path=<path> -Dfs.s3a.server-side-encryption-algorithm=<xx>--options-file <path> --query "select col1,ID,UPDATETIME from db.table where UPDATETIME between to_date('2015-09-11 00:00:00','yyyy/mm/dd hh24:mi:ss') and to_date('2018-05-24 04:28:16','yyyy/mm/dd hh24:mi:ss') and \$CONDITIONS" --hive-delims-replacement ' ' --direct --m 1 --split-by ID  --target-dir <s3//path>

我能够复制数据，但我需要从同一命令获取已处理数据的计数，而无需使用 eval 等其他命令。因为同时其他记录可能会被摄取到源中。

我想要的是捕获这个记录数：

18/05/21 22:55:55 INFO mapreduce.ImportJobBase: Transferred 0 bytes in 47.9229 seconds (0 bytes/sec)
18/05/21 22:55:55 INFO mapreduce.ImportJobBase: Retrieved 33372 records.

标签： hadoopamazon-s3sqoopsqoop2

解决方案

我找到了上述查询的方法。当您在下面的 subprocess程序中传递您的 sqoop 命令并使用 .communicate 来存储整个输出以及警告和信息消息时。 

sqoop_command ='sqoop import........'

process = subprocess.Popen(sqoop_command , stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)

rec_str = process.communicate()

rec_str 包含输出。

推荐阅读