r - 我们应该如何选择磁盘框架中的块大小?
问题描述
我正在使用磁盘框架,到目前为止它很棒。
让我感到困惑的一件事情是块的大小。我感觉一小块可能会创建太多任务,而磁盘框架可能会占用管理这些任务的时间。另一方面,对于工作人员来说,一大块可能过于昂贵,从而降低了并行性带来的性能优势。
我们可以使用哪些信息来更好地猜测块大小?
解决方案
这是一个棘手的问题,我可能需要更好的工具。
目前,一切都在猜测的基础上。但我已经对此进行了介绍,我会尽快将其纳入文档中。
理想情况下,你想要
使用的 RAM = 工作人员数量 * 每个块的 RAM 使用量
因此,如果您有 6 个工作人员(最适合 6 个 CPU 内核),那么您会想要更小的块,而不是拥有 4 个(工作人员)但总 RAM 量相同的人。
困难在于估计“每个块的 RAM 使用量”,这对于不同的操作(如合并、排序和只是 vaniall 过滤)是不同的!
这是一个一般很难解决的问题!所以暂时没有好的解决办法。
推荐阅读
- php - IntelliJ PHP 自定义检查:如何调用 visitPhpFunctionCall?
- c# - VirtualPathUtility 的 ASP.Net 核心替换
- python - 在 Airflow 中启动时执行代码
- uitextfield - UITextField 的基于块的 KVO
- java - 记录器输出到 JavaFX 中的 TextArea
- google-api - 适用于 Java SDK 和 GDPR 的 Google 客户端库
- php - Wordpress 小部件不显示
- ext.net - 密码在 ext.net 用户控制中可见
- c# - 如何实现本地化 ASP net CORE MVC
- ios - 水平渐变不适用于动态宽度内容