ignite - Apache Ignite 集群节点未从外部数据库加载所有数据

Question

我对 Apache Ignite 完全陌生，并尝试了一些示例来评估 Ignite 的 IMDG 功能。我正在使用 GridGain Web 控制台创建一个简单的项目，其中我从我的 MSSQL 外部数据库中导入了一个表。这是一个包含约 900 万条记录和 100 多列的大表。下载项目，在VS Code中编译，并在ignite安装文件夹中部署打包的JAR文件后，我启动集群（单节点）。到目前为止一切顺利，我可以在我的 GridGain Web 控制台中看到集群和节点。但是，每次我尝试加载缓存时，它只加载我能够查询的~44K 记录（例如，使用 DBeaver）。我尝试将 dataRegion 内存大小设置为 12G。该机器有 32G RAM，超过 70% 是免费的。缓存确实启用了 Read-Through，我知道通过 API 访问键值可以读取所有数据。但是，我正在尝试在缓存上运行 SQL 以聚合数据以进行评估。为什么节点/缓存不从我的外部 MSSQL 数据库加载所有数据？有什么想法吗？提前致谢。

节点日志：

Metrics for local node (to disable set 'metricsLogFrequency' to 0)
    ^-- Node [id=a9347dd0, name=MyCluster, uptime=00:01:00.045]
    ^-- Cluster [hosts=1, CPUs=4, servers=1, clients=0, topVer=1, minorTopVer=0]
    ^-- Network [addrs=[0:0:0:0:0:0:0:1, 10.10.100.60, 127.0.0.1], discoPort=47500, commPort=47100]
    ^-- CPU [CPUs=4, curLoad=76.53%, avgLoad=11.27%, GC=0.1%]
    ^-- Heap [used=485MB, free=52.6%, comm=1024MB]
    ^-- Off-heap memory [used=10MB, free=99.92%, allocated=336MB]
    ^-- Page memory [pages=2586]
    ^--   sysMemPlc region [type=internal, persistence=false, lazyAlloc=false,
      ...  initCfg=40MB, maxCfg=100MB, usedRam=0MB, freeRam=99.21%, allocRam=40MB]
    ^--   default region [type=default, persistence=false, lazyAlloc=true,
      ...  initCfg=256MB, maxCfg=12288MB, usedRam=9MB, freeRam=99.92%, allocRam=256MB]
    ^--   TxLog region [type=internal, persistence=false, lazyAlloc=false,
      ...  initCfg=40MB, maxCfg=100MB, usedRam=0MB, freeRam=100%, allocRam=40MB]
    ^-- Outbound messages queue [size=0]
    ^-- Public thread pool [active=0, idle=0, qSize=0]
    ^-- System thread pool [active=0, idle=6, qSize=0]
[16:31:43,959][INFO][grid-timeout-worker-#22%MyCluster%][IgniteKernal%MyCluster] FreeList [name=default##FreeList, buckets=256, dataPages=2879, reusePages=0]
[16:32:44,021][INFO][grid-timeout-worker-#22%MyCluster%][IgniteKernal%MyCluster]
Metrics for local node (to disable set 'metricsLogFrequency' to 0)
    ^-- Node [id=a9347dd0, name=MyCluster, uptime=00:03:00.212]
    ^-- Cluster [hosts=1, CPUs=4, servers=1, clients=0, topVer=1, minorTopVer=0]
    ^-- Network [addrs=[0:0:0:0:0:0:0:1, 10.10.100.60, 127.0.0.1], discoPort=47500, commPort=47100]
    ^-- CPU [CPUs=4, curLoad=56.37%, avgLoad=49.36%, GC=0.03%]
    ^-- Heap [used=197MB, free=80.74%, comm=1024MB]
    ^-- Off-heap memory [used=31MB, free=99.75%, allocated=336MB]
    ^-- Page memory [pages=8089]
    ^--   sysMemPlc region [type=internal, persistence=false, lazyAlloc=false,
      ...  initCfg=40MB, maxCfg=100MB, usedRam=0MB, freeRam=99.21%, allocRam=40MB]
    ^--   default region [type=default, persistence=false, lazyAlloc=true,
      ...  initCfg=256MB, maxCfg=12288MB, usedRam=30MB, freeRam=99.75%, allocRam=256MB]
    ^--   TxLog region [type=internal, persistence=false, lazyAlloc=false,
      ...  initCfg=40MB, maxCfg=100MB, usedRam=0MB, freeRam=100%, allocRam=40MB]
    ^-- Outbound messages queue [size=0]
    ^-- Public thread pool [active=0, idle=0, qSize=0]
    ^-- System thread pool [active=0, idle=7, qSize=0]
[16:32:44,144][INFO][grid-timeout-worker-#22%MyCluster%][IgniteKernal%MyCluster] FreeList [name=default##FreeList, buckets=256, dataPages=5466, reusePages=0]
[16:33:21,844][INFO][rest-#60%MyCluster%][CacheJdbcPojoStore] Finished load cache: DmdtxnCache

标签： ignite