首页 > 解决方案 > Docker 中的 OOM 与 Spring Boot + H2 + JPA 和批处理

问题描述

Java 应用程序在 docker 容器中运行。

REST 控制器和来自另一个微服务的文档临时存储在内部 H2 数据库中(在内存中)。然后在 tika 的帮助下处理这些并发送到下一个微服务。最后文件在内部数据库中被删除。

这一切都按预期工作。数据库中的文档大小在处理过程中不断增加和减少(在 H2 Web 控制台的帮助下进行控制)。

持久文档类如下所示:

@Entity
@Table(name = "Document")
public class Document {
@Id
@GeneratedValue
Long id = 0L;
@Lob
private String content;
@Lob
private String contentHtml = "";
@ElementCollection
@MapKeyColumn(name = "name")
@Column(length=1000, name = "value")
@CollectionTable(name = "meta_attributes", joinColumns = @JoinColumn(name = "meta_id"))
@LazyCollection(LazyCollectionOption.FALSE)
private Map<String, String> metadata;
@Enumerated(EnumType.STRING)
private DocStatus status;

public Document() {
}

但问题是增加了 docker 容器的内存消耗。我们尝试使用 3 和 6GB 的 MEMORY_MAX。在这两种情况下,内存使用量都会缓慢增加,直到容器以状态 137(已杀死)退出。

在处理了大约 50'000 个文件后,表的状态如下:

在此处输入图像描述

借助 jmap 制作的关于容器内 jvm 的转储显示,大部分内存都被 MVMap(PageReferences)消耗,这似乎是从 H2 用于存储数据的:

在此处输入图像描述

在此处输入图像描述

我的问题:

这更有可能是 H2 内部的一种内存泄漏,还是更有可能是配置问题?我尝试将使用过的 JPARepository 方法从 .save() 更改为 .saveAndFlush() ,这并没有改变任何东西。我无法想象这与实体管理器有关,因为这都是由 Spring Boot 管理的。

标签: javaspring-bootdockerspring-data-jpah2

解决方案


最可能的原因是您没有调用 commit(),这意味着旧版本的数据永远不会被刷新


推荐阅读