java - ZGC 最大堆大小超过物理内存
问题描述
- JVM 选项是
-server -Xmx100g -Xms100g -XX:MaxMetaspaceSize=1G -Xss512k
-XX:+UnlockExperimentalVMOptions -XX:+UseZGC -XX:MaxGCPauseMillis=30
-XX:ConcGCThreads=4 -XX:ParallelGCThreads=12
-XX:+DisableExplicitGC -XX:LargePageSizeInBytes=128m
- 内存为 256G
total used free shared buffers cached
Mem: 251 250 1 100 0 138
-/+ buffers/cache: 112 139
Swap: 7 0 7
- top 命令显示进程的 RES 为 303G
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
240731 xxx 20 0 17.0t 302g 297g S 6.6 119.9 256:35.43 java
- jvm 配置文件显示如下
./jhsdb jmap --heap --pid 240731
Attaching to process ID 240731, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 11.0.2+9
using thread-local object allocation.
ZGC with 12 thread(s)
Heap Configuration:
MinHeapFreeRatio = 40
MaxHeapFreeRatio = 70
MaxHeapSize = 107374182400 (102400.0MB)
NewSize = 1363144 (1.2999954223632812MB)
MaxNewSize = 17592186044415 MB
OldSize = 5452592 (5.1999969482421875MB)
NewRatio = 2
SurvivorRatio = 8
MetaspaceSize = 21807104 (20.796875MB)
CompressedClassSpaceSize = 1073741824 (1024.0MB)
MaxMetaspaceSize = 1073741824 (1024.0MB)
G1HeapRegionSize = 0 (0.0MB)
Heap Usage:
ZHeap used 82988M, capacity 1024M, max capacity 27112449862M
最大容量的任何其他 VM 选项?ZGC 堆是如何工作的?
解决方案
由于这个问题是不时被问到的,我已经厌倦了解释它,让我试着把它放在这里,这样人们就可以简单地搜索,得到他们的答案,然后再次快乐(即使是很短的时间,它仍然值得!)。
ZGC 的 RSS 过度报告是由于 ZGC 用于操作内存页面的技术,即多重映射。由于 ZGC 本质上是 Zing C4 收集器的另一种实现(由 Azul Systems 提供),Zing 也共享相同的“过度报告”RSS 问题。
查看这段代码:
void ZPhysicalMemoryBacking::map(ZPhysicalMemory pmem, uintptr_t offset) const {
if (ZUnmapBadViews) {
// Only map the good view, for debugging only
map_view(pmem, ZAddress::good(offset), AlwaysPreTouch);
} else {
// Map all views
map_view(pmem, ZAddress::marked0(offset), AlwaysPreTouch);
map_view(pmem, ZAddress::marked1(offset), AlwaysPreTouch);
map_view(pmem, ZAddress::remapped(offset), AlwaysPreTouch);
}
}
和这个:
void ZPhysicalMemoryBacking::map_view(ZPhysicalMemory pmem, uintptr_t addr, bool pretouch) const {
const size_t nsegments = pmem.nsegments();
// Map segments
for (size_t i = 0; i < nsegments; i++) {
const ZPhysicalMemorySegment segment = pmem.segment(i);
const size_t size = segment.size();
const void* const res = mmap((void*)addr, size, PROT_READ|PROT_WRITE, MAP_FIXED|MAP_SHARED, _file.fd(), segment.start());
if (res == MAP_FAILED) {
ZErrno err;
map_failed(err);
}
// Advise on use of transparent huge pages before touching it
if (ZLargePages::is_transparent()) {
advise_view(addr, size);
}
// NUMA interleave memory before touching it
ZNUMA::memory_interleave(addr, size);
if (pretouch) {
pretouch_view(addr, size);
}
addr += size;
}
}
映射所有视图:
- map_view(pmem, ZAddress::marked0(offset), AlwaysPreTouch);
- map_view(pmem, ZAddress::marked1(offset), AlwaysPreTouch);
- map_view(pmem, ZAddress::remapped(offset), AlwaysPreTouch);
这意味着对于同一个地址,ZGC 会将其映射到 3 个不同的视图:marked0、marked1 和 remapped。这 3 个视图反映在虚拟内存地址中。这意味着,3 个不同的虚拟内存地址将映射到相同的底层物理内存,因此对于每个物理内存页,都有 3 个虚拟页映射到它。
如果 ZGC 成长为分代 GC(你有年轻代和老年代,而不是像现在的 ZGC 那样单代),我们可以预期这个数字也将增加到 6 倍 xmx 堆大小。
这就是为什么 Azul Zing 和 Oracle ZGC 使用的多映射使人们在“top”命令时进入恐慌模式的原因。但是请注意,报告的只是虚拟内存空间,所以除非您的系统工具遇到这个令人困惑的部分,否则您没有理由拨打 911。
推荐阅读
- r - 将多个数值重新编码为 R 中的新值
- javascript - 如何让机器人通过 Giphy API 正确发送 GIF?
- java - URLConnection 是否下载文件?
- java - 在java中同时读取两个excel行
- android - Nativescript Android 从 webview 打开 Waze 链接
- eclipse - 使用 Eclipse 删除 SVN 中的已提交文件
- php - 如何将访问令牌插入 MySQL 数据库?
- python - cv.GetSubRect 迁移到 OpenCV 4
- android - 如何在 React Native 中播放多个音频?
- c# - 在操作过滤器中访问 ApplicationCookies 身份声明