java - 生成多个字符串时如何避免这种内存不足错误?
问题描述
我正在做一个基准测试任务,我需要生成数百万行事件 json。
这是我的示例代码:
def generateEntry() = {
s"""
|{
| "memberId": ${java.util.UUID.randomUUID.toString},
| "first_name": ${nameRandomizer},
| "last_name": ${nameRandomizer
|}""".stripMargin
}
// Generate 1000000 rows of Json String with fields: memberId, first_name, last_name
val entryList = mutable.ListBuffer[String]()
for (_ <- 1 to 1000000) {
entryList += generateEntry()
}
val inputRDD: RDD[String] = sc.parallelize(entryList.result())
但是,这会导致错误:
Java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:3332)
at java.lang.AbstractStringBuilder.ensureCapacityInternal(AbstractStringBuilder.java:124)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:448)
at java.lang.StringBuilder.append(StringBuilder.java:136)
at scala.StringContext.standardInterpolator(StringContext.scala:126)
at scala.StringContext.s(StringContext.scala:95)
顺便说一句,我正在用 spark 编码。我尝试批量执行此操作,但似乎仍然出现错误。请让我知道,或提供我可以用作解决此问题的指南的示例代码。谢谢!
解决方案
不需要列表缓冲区。您可以将 Spark 范围映射到您的函数:
val inputRDD: RDD[String] = spark.range(1000000).rdd.map(x => generateEntry())
推荐阅读
- python - setuptools_scm.version.SetuptoolsOutdatedWarning:您的 setuptools 太旧 (<12)
- sql - SQL - 计算价格的变量公式
- puppeteer - 查找/返回文本
- apache-kafka - Kafka如何处理各种故障情况
- python - 试图创建一个忽略属于组的字符以及跟随一组字符的单词的正则表达式
- python - 输出的周数字符串是否正确?
- mysql - SQLSTATE [42000]:语法错误或访问冲突:1044 拒绝用户 'ion'@'localhost' 访问数据库 'a901ce392dad4b90b1c6e175b07196a9'
- c++ - 在返回 void 的函数中调用返回 void 的函数的 return 语句
- xpath - Xpath 函数循环遍历重复节点
- azure - 在 Hazelcast 中为 Azure 配置服务发现