kdb - 什么可能导致 kdb 查询出现此“无效主机”错误?
问题描述
尝试从日期分区的历史数据库中查询太多日期时出现奇怪的错误:
q)eod: h"select from eod where date within 2018.01.01 2018.04.22"
'/tablepath/2018.04.04/eod/somecolumn: invalid host
q)eod: h"select from eod where date within 2018.01.17 2018.04.20"
'/tablepath/2018.04.20/eod/othercolumn: invalid host
q)eod: h"select from eod where date within 2018.01.18 2018.04.20"
q)
请注意,错误消息中提到的两个日期都在我们最终设法提取的日期范围内,并且每次都在不同的列上失败。这似乎表明它与被拉动的表的大小有关,但是当我们检查我们设法得到的最大表的大小时:
q)(-22!eod) % 1024 * 1024
646.9043
q)count eod
2872546
我们发现无论是内存大小还是行数,它都不是特别大。
谷歌搜索“无效主机”错误似乎没有任何相关信息,而且我在 kdb 文档中没有看到任何有关大小限制的相关信息。有人有什么想法吗?
编辑:
当在会话中加载表并直接进行查询时,我们会得到看似相同的错误,但消息不同。例如:
q)jj: select from eod where date within 2018.01.01 2018.04.22
Too many compressed files open
k){0!(?).@[x;0;p1[;y;z]]}
'./2018.04.04/eod/settlecab: No such file or directory
.
?
(+`exch`date`class..
q.Q))
请注意,该文件./2018.04.04/eod/settlecab
确实存在,并且包含数据:我没有问题加载错误中提到的日期的数据,并且提到的列具有有意义的值:
q)jj: select from eod where date=2018.04.04
q)select count i by settlecab from jj
settlecab| x
---------| -----
0 | 41573
1 | 2269
关键点似乎是Too many compressed files open
信息,但我能做些什么呢?
编辑摘要/解决方案:
有问题的表有很多列,所有列都以压缩格式存储。当一次对太多日期发出查询时,kdb 会尝试一次映射所有这些列,从而限制一次可以打开多少压缩文件。
一旦我理解了这个问题,就有几种解决方案:
- 我只能从数据库中提取某些列,从而减少 kdb 需要保持打开的文件数量,
- 我可以通过在查询中添加一个虚拟子句来强制 kdb 将所有数据拉入内存
where
,例如(null column) | not null column
(hacky,但它有效), - 我本可以升级 kdb 版本并取消操作系统限制(在我的情况下不实用)。
invalid host
我仍然不知道为什么在远程查询数据库时会导致错误。
解决方案
首先,我们能否澄清一下您正在使用的数据库结构。从错误中返回的文件路径看来,您有一个日期分区的数据库。当您在原始查询中说非分区时,您是指非分段数据库吗?
就您的问题的修复而言,您是否尝试过将数据库加载到会话中并直接进行这些查询?如果是这样,你会遇到同样的问题吗?
如果这似乎工作正常,那么问题可能在于您如何定义数据库句柄。h
您的原始示例中如何定义?
还可能值得尝试从数据库中选择单个日期,尝试隔离问题,并确定它是否与您的磁盘数据有关。尝试专门查询错误中提到的日期。
您还可以尝试使用 a 列的子集执行原始查询,再次尝试查明您的问题来自何处。
如果您对此有任何进一步了解,请告诉我们。
约瑟夫
推荐阅读
- angular - Angular:未捕获的 ReferenceError:未定义要求和 GET 403
- python - 函数的功能并在python中检查是否为真
- html - 禁用每次打开 iframe 时接受 cookie 的需要
- java - 使用 setter 验证属性的原因是什么?
- laravel - Fortify - 如何自定义验证/密码重置电子邮件?
- vb.net - 应用程序身份没有突然设置异常
- scala - 如何从 Ask 消息中调用上下文成为 Future 之外的内容?
- php - 从今天开始计算天数,从 1 insted of 0 开始
- elasticsearch - Elasticsearch 为所有结果设置 1.0 分
- r - 使用 ggplot2 将构面标签中的新行和绘图相结合