python - 文件:file:/C:/Python/HDFS/program1/mapper.py 不可读
问题描述
执行启动 Hadoop 作业时出现以下错误
文件:file:/C:/Python/HDFS/program1/mapper.py 不可读。
使用以下命令
hadoop jar C:\hadoop\share\hadoop\tools\lib\hadoop-streaming-3.2.0.jar -file C:/Python/HDFS/program1/mapper.py -file C:/Python/HDFS/program1/reducer.py -mapper "python mapper.py" -reducer "python reducer.py" -input /sample/input_word.txt -output /sample/owc1.txt
这是我的 mapper.py 文件内容
import sys
for line in sys.stdin:
line = line.strip()
words = line.split()
for word in words:
print ("%s\t%s" % (word, 1))
和reducer.py内容如下
import sys
import collections
counter = collections.Counter()
for line in sys.stdin:
word, count = line.strip().split("\t", 1)
counter[word] += int(count)
for x in counter.most_common(9999):
print(x[0],"\t",x[1])
我正在使用以下环境:
Java 版本:java 版本“1.8.0_291” Hadoop 版本:Hadoop 3.2.0 和 Windows 10
解决方案
推荐阅读
- html - 无缘无故添加了不必要的引导悬停类?
- node.js - 安装 next.js 时出现错误
- php - 具有模型特征的 Laravel/Eloquent 碰撞
- django - 组名未在生产中显示
- r - 在带有刻面的ggplot中绘制垂直线
- reactjs - React 搜索和过滤组件无法正常工作
- flutter - 有没有办法在 Flutter 中保存状态,以便 App 从我们离开的地方开始?
- asp.net-core - 我应该在 ASP .Net Core Web 应用程序中提交我的 wwwroot/lib 文件夹吗
- javascript - React Axios POST 请求停止
- snowflake-cloud-data-platform - select count(*) 是元数据操作