google-cloud-platform - 如何在谷歌云 AI 平台中增加 jupyter notebook 最大缓冲区大小?
问题描述
我在谷歌云平台上运行 Jupyter 笔记本。我有一个很大的pickeld Dataframe 可供阅读。由于 Jupyter 笔记本的默认缓冲区大小约为 0.5 Gb,因此它会崩溃并重新启动内核。我已经在 Compute Engine 中添加NotebookApp.max_buffer_size='my desired value'
了jupyter_notebook_config.py
,但仍然存在问题。
解决方案
我认为调整实例的大小应该改变内存限制,但是我在调整到更大的实例时遇到了同样的问题,这是我的解决方法:
我建议您在尝试之前保存您的工作,以防万一。
Jupyter 作为服务运行,所以打开它的服务配置:
sudo vim /lib/systemd/system/jupyter.service;
你应该看到这个配置:
[Unit]
Description=Jupyter Notebook
[Service]
Type=simple
PIDFile=/run/jupyter.pid
MemoryHigh=34359738368
MemoryMax=34359738368
ExecStart=/bin/bash --login -c '/opt/conda/bin/jupyter lab --config=/home/jupyter/.jupyter/jupyter_notebook_config.py'
User=jupyter
Group=jupyter
WorkingDirectory=/home/jupyter
Restart=always
[Install]
WantedBy=multi-user.target
将 MemoryHigh 和 MemoryMax 更改为所需的字节值。
然后:
sudo systemctl daemon-reload
sudo systemctl restart jupyter
稍等一下 jupyter 重新启动,你应该很高兴。
推荐阅读
- python - 是否有将字符串转换为数字并返回用于机器学习的功能
- android - 如何获取列表视图的所有项目及其位置并将它们意图用于另一个活动,并且可以转到下一个和后退位置
- oracle - 如何通过 plsql 函数从表中生成列表?
- c# - ASP.NET Core MVC (2.2) 错误中间件未触发错误页面
- php - Laravel 队列向同一个收件人发送多个通知
- android - Android BottomNavigationView 一个带有不同未选中/选中颜色的选项卡
- maven - 如何将内部版本号(来自 Jenkins)添加到 jar 文件?
- python - Sqlite3 'executemany' 与 UPDATE 和 INSERT 使用 python 字典键不一样?
- laravel - 验证要发送到控制器的数组。拉拉维尔
- c# - 用属性扩展 C# 中的类