hadoop - 将 hadoop 配置传递给 Nutch crawl 命令

Question

我希望能够在分布式模式下运行 Apache Nutch crawl 命令时指定映射器、减速器和作业队列的数量。这是我尝试过的，但不起作用：

runtime/deploy/bin/crawl -D mapreduce.map.memory.mb=4000 -D mapreduce.reduce.memory.mb=2000 -D mapred.job.queue.name=some-queue -i -D solr.server.url=http://http://my-solr-server:8983/solr/my-collection -s /user/me/seed /user/me/crawl-dir 1

如何将 hadoop 参数传递给命令？

标签： hadoopnutch