时间戳

首页 > 解决方案 > 写入“.csv”后如何恢复原始数据类型 Array{Tuple{Int64,Int64},1} - Julia

dataframe - 写入“.csv”后如何恢复原始数据类型 Array{Tuple{Int64,Int64},1} - Julia

问题描述

我有一个要写入文件的元组列表列表，以便另一个文件可以读取它以进行后处理。如果它有助于它在图中的循环列表，那么每个循环就是它本身元组列表。我将此列表称为cycle_basis.

目前这就是我写出来的方式：

df = DataFrame()
df.Path = cycle_basis
df.Size = cycle_size
CSV.write("cycle_basis.csv",df)

cycle_size 只是一个整数，表示每个循环中的边数。我可以看到它存储在 CSV 中，如下所示（为了这篇文章，在一个超小的图表上运行，通常文件会更长）：

Path,Size
"[(1, 3), (2, 3), (1, 2)]",3
"[(4, 5), (3, 4), (1, 3), (2, 5), (1, 2)]",5

我尝试将每个字符串转换回其原始数据类型，如下所示：convert(Array{Tuple{Int64,Int64},1},cycle.Path[1])，但这只是给了我以下错误：

    ERROR: MethodError: Cannot `convert` an object of type String to an object of type                                  Array{Tuple{Int64,Int64},1}
Closest candidates are:
  convert(::Type{Array{S,N}}, ::PooledArrays.PooledArray{T,R,N,RA} where RA) where {S, T, R, N} at /home/charper/.julia/packages/PooledArrays/yiLq3/src/PooledArrays.jl:294
  convert(::Type{T}, ::AbstractArray) where T<:Array at array.jl:533
  convert(::Type{T}, ::T) where T<:AbstractArray at abstractarray.jl:14
  ...
Stacktrace:
 [1] top-level scope at none:0

我用 parse() 尝试了同样的事情并得到了类似的错误。

标签： dataframecsvtypesfile-iojulia

解决方案

我不建议对此类数据使用 CSV 存储。可能最简单的方法是 JSONTables.jl：

julia> df = DataFrame(a=[1,2], b=[[(1,2),(3,4)], [(5,6),(7,8)]])
2×2 DataFrame
│ Row │ a     │ b                │
│     │ Int64 │ Array…           │
├─────┼───────┼──────────────────┤
│ 1   │ 1     │ [(1, 2), (3, 4)] │
│ 2   │ 2     │ [(5, 6), (7, 8)] │

julia> s = arraytable(df) 
"[{\"a\":1,\"b\":[[1,2],[3,4]]},{\"a\":2,\"b\":[[5,6],[7,8]]}]"

julia> DataFrame(jsontable(s))
2×2 DataFrame
│ Row │ a     │ b                │
│     │ Int64 │ Array…           │
├─────┼───────┼──────────────────┤
│ 1   │ 1     │ [[1, 2], [3, 4]] │
│ 2   │ 2     │ [[5, 6], [7, 8]] │

julia> DataFrame(jsontable(objecttable(df))) # objecttable gives you a different layout of data
2×2 DataFrame
│ Row │ a     │ b                │
│     │ Int64 │ Array…           │
├─────┼───────┼──────────────────┤
│ 1   │ 1     │ [[1, 2], [3, 4]] │
│ 2   │ 2     │ [[5, 6], [7, 8]] │

我在这里展示了如何将它存储在 a 中String并读回，但你可以使用它IO来代替。

回读不会恢复元组，但会恢复结构。

现在 - 这只是一种选择。本教程中比较了 DataFrames.jl 的不同加载/保存选项：https ://github.com/bkamins/Julia-DataFrames-Tutorial/blob/master/04_loadsave.ipynb 。

现在在 CSV 中，您可以执行以下操作：

julia> CSV.write("tmp.csv", df)
"tmp.csv"

julia> df2 = CSV.File("tmp.csv") |> DataFrame
2×2 DataFrame
│ Row │ a     │ b                │
│     │ Int64 │ String           │
├─────┼───────┼──────────────────┤
│ 1   │ 1     │ [(1, 2), (3, 4)] │
│ 2   │ 2     │ [(5, 6), (7, 8)] │

julia> df2.b = eval.(Meta.parse.(df2.b))
2-element Array{Array{Tuple{Int64,Int64},1},1}:
 [(1, 2), (3, 4)]
 [(5, 6), (7, 8)]

julia> df2
2×2 DataFrame
│ Row │ a     │ b                │
│     │ Int64 │ Array…           │
├─────┼───────┼──────────────────┤
│ 1   │ 1     │ [(1, 2), (3, 4)] │
│ 2   │ 2     │ [(5, 6), (7, 8)] │

但这不是一种安全的方法。在eval任何不安全的代码中都可以注入执行。

推荐阅读