时间戳

首页 > 解决方案 > 如何快速解析许多小的 JSON 文件？

r - 如何快速解析许多小的 JSON 文件？

问题描述

我json在一个目录中有数千个非常小的文件。

现在，我正在使用以下代码来加载它们：

library(dplyr)
library(jsonlite)
library(purrr)

filelistjson <- list.files(DATA_DIRECTORY, full.names = TRUE, recursive = TRUE)
filelistjson %>% map(., ~fromJSON(file(.x)))

不幸的是，这非常慢（我也尝试过furrr::future_map）我想知道这里是否有更好的方法。单个文件几乎没有25KB大小......

文件如下所示，有几个嵌套变量，但没有太复杂

  {
 "field1": "hello world",
  "funny": "yes",
  "date": "abc1234",
  "field3": "hakuna matata",
  "nestedvar":[
    "http://www.stackoverflow.com",
    "http://www.stackoverflow.com/funny"
  ],
  "othernested":[
   { 
     "one": "two",
     "test": "hello"
   }
   ] 
  }

谢谢！

标签： rjsonpurrrjsonlitefurrr

解决方案

R 中有几个 JSON 库。以下是其中三个库的基准测试：

txt <- '{
 "field1": "hello world",
"funny": "yes",
"date": "abc1234",
"field3": "hakuna matata",
"nestedvar": [
"http://www.stackoverflow.com",
"http://www.stackoverflow.com/funny"
],
"othernested": [
{ 
"one" : "two",
"test" : "hello"
}
] 
}'

microbenchmark::microbenchmark(
  jsonlite={
    jsonlite::fromJSON(txt)
  },
  RJSONIO={
    RJSONIO::fromJSON(txt)
  },
  rjson={
    rjson::fromJSON(txt)
  }
)

# Unit: microseconds
#     expr     min       lq      mean  median      uq     max neval cld
# jsonlite 144.047 153.3455 173.92028 167.021 172.491 456.935   100   c
#  RJSONIO 113.049 120.3420 134.94045 128.365 132.742 287.727   100  b 
#    rjson  10.211  12.4000  17.10741  17.140  18.234  59.807   100 a

如您所见，rjson似乎更有效（尽管谨慎对待上述结果）。就我个人而言，我喜欢使用RJSONIO它，因为根据我的经验，它是在再次阅读、修改和解析时最尊重格式的库。

最后，如果你知道文件的（不变的）结构，你总是可以构建一个自定义的 JSON 阅读器，并且可能会更有效率。但正如@Gregor 所指出的，也许您应该确保延迟确实是由于读者造成的。

推荐阅读