python - pickle.dumps() 是否有详细的日志记录模式?
问题描述
我尝试使用以下代码将大约 25000 张图像编码到泡菜文件中
f = open("dataset_encoding.pickle", "wb")
f.write(pickle.dumps(sampleDataset))
f.close()
Python 在我的 PC 上执行此功能会花费大量时间,是否有详细的日志记录选项,pickle.dumps()
以便我知道它仍在运行?
我在这里找不到任何东西
解决方案
正如评论中提到的,我试图腌制一个长度为 4 的列表。为了减少每个腌制文件的内存使用量,我决定将我的列表保存到 4 个不同的腌制中。以下是我在酸洗完成时用于打印 ProgressBar 的代码:
import pickle
def printProgressBar (iteration, total, prefix = '', suffix = '', decimals = 1, length = 100, fill = '█', printEnd = "\r"):
"""
Call in a loop to create terminal progress bar
@params:
iteration - Required : current iteration (Int)
total - Required : total iterations (Int)
prefix - Optional : prefix string (Str)
suffix - Optional : suffix string (Str)
decimals - Optional : positive number of decimals in percent complete (Int)
length - Optional : character length of bar (Int)
fill - Optional : bar fill character (Str)
printEnd - Optional : end character (e.g. "\r", "\r\n") (Str)
"""
percent = ("{0:." + str(decimals) + "f}").format(100 * (iteration / float(total)))
filledLength = int(length * iteration // total)
bar = fill * filledLength + '-' * (length - filledLength)
print('\r%s |%s| %s%% %s' % (prefix, bar, percent, suffix), end = printEnd)
if iteration == total:
print()
def verbosePickle(data_list, filename, prefix_text):
print("sampleDataset["+str(index)+"] Length :"+str(len(sample)))
with open(filename, "wb") as f:
pickle.dump(len(data_list), f)
printProgressBar(0, len(data_list)-1, prefix = prefix_text, suffix = "Complete", length = 50)
for data_index, data in enumerate(data_list):
printProgressBar(data_index, len(data_list)-1, prefix = prefix_text, suffix = "Complete", length = 50)
pickle.dump(data, f)
for index, sample in enumerate(sampleDataset):
print("Saving Pickle Files")
verbosePickle(sample, "sampleDataset"+index+".pickle", "Saving pickle "+index+" :")
标准输出:
保存泡菜 0 : |█████████████████████------------------------ -----| 44.0% 完成
推荐阅读
- python - 如何解决元组列表中的列表索引超出范围?
- javascript - iframe 中的 Pdf blob url 无法在移动设备和平板电脑上加载,但在所有主要桌面浏览器上都可以正常工作
- html - 定位这个孩子的特定父母兄弟姐妹
- reactjs - Axios - 尝试从数据库中删除用户时收到 404 错误
- javascript - 如何在应用程序中构建组件的“组合”?
- python - 使用Python win32com从活动Excel工作表中的选定区域中提取单元格/范围信息(col,row)
- r - 了解 R 中的向量/均值函数
- shopify - 集成 Shopify 和第三方礼品卡系统
- python - 在 PHP 中使用 AES CBC 解密简单脚本 - 从 Python 迁移
- arrays - 打印井字棋板fortran90