python - 从文件中读取 TQDM 输出
问题描述
这主要是一个一般的 python 问题,我在分布式环境中工作,所以我的工作人员将他们的 stdout 和 stderr 写入共享文件系统上的文件(我无法更改)。我希望我的启动器脚本读取其中一个文件并实时打印出来以粗略跟踪工作人员的进度,每个工作人员都使用 tqdm 输出进度条。我很高兴看到tail -f
文件的运行正确地输出了进度条,例如,进度条在一行上更新,就像我在本地运行 tqdm 时一样。但是,当我尝试用 python 包装它时,使用以下函数:
def follow(job : submitit.Job) -> Iterator[str]:
with open(job.paths.stdout) as fo:
with open(job.paths.stderr) as fe:
while True:
lo = fo.readline()
if lo:
yield lo
le = fe.readline()
if le:
yield le
if job.state != 'RUNNING' and not (le or lo):
break
else:
time.sleep(1)
loglines = follow(job)
for line in loglines:
print(line, end='', flush=True)
它不这样做,例如我得到一个换行符,并且通过打印新行来更新进度条,它似乎没有处理\x1b[A
tqdm 正在写入的字符。
有没有办法纯粹在 python 中做到这一点?
解决方案
我能够通过使用读取二进制模式来解决这个问题,使用read
读取到文件末尾,然后将生成的字节解码为ascii
而不是 python 3 默认的 UTF-8。更新后的工作跟随功能如下:
def follow(job : Job) -> Iterator[str]:
with open(job.paths.stdout, 'rb') as fo:
with open(job.paths.stderr, 'rb') as fe:
while True:
lo = fo.read().decode('ascii')
if lo:
yield lo
le = fe.read().decode('ascii')
if le:
yield le
if job.state != 'RUNNING' and not le and not lo:
break
else:
time.sleep(0.1)
推荐阅读
- c++ - 无法将 SIGNAL 连接到同一类的 SLOT 以及两个不同的类 QT
- react-native - React Native 中的 AdMob 原生广告
- django - WSL2 上的 PostGIS - 扩展“postgis”没有安装脚本,也没有版本 XXX 的更新路径
- javascript - 使用 JavaScript 从所有输入字段中修剪空格
- kubernetes - 将 csidrvier 安装到 kubernetes 名称空间时出错 - 此命令需要 1 个参数:图表名称
- python - 在 2D numpy 数组的末尾添加一列
- vue.js - 如何使 beforeEach 中的 if 语句仅在加载一次时起作用?
- javascript - React 单元测试状态更新
- wpf - WPF Binding 使用属性作为值来定义 Binding
- python-3.x - 模块“android”没有属性“Android()”