json - 在 neo4J 中导入 json
问题描述
[问题 - 下面是我的最终解决方案]
我想将包含我的数据的 json 文件导入 Neo4J。但是,它超级慢。
Json 文件的结构如下
{
"graph": {
"nodes": [
{ "id": 3510982, "labels": ["XXX"], "properties": { ... } },
{ "id": 3510983, "labels": ["XYY"], "properties": { ... } },
{ "id": 3510984, "labels": ["XZZ"], "properties": { ... } },
...
],
"relationships": [
{ "type": "bla", "startNode": 3510983, "endNode": 3510982, "properties": {} },
{ "type": "bla", "startNode": 3510984, "endNode": 3510982, "properties": {} },
....
]
}
}
与此处提出的类似:如何从浏览器中的先前结果中恢复数据?.
通过查看答案。我发现我可以使用
CALL apoc.load.json("file:///test.json") YIELD value AS row
WITH row, row.graph.nodes AS nodes
UNWIND nodes AS node
CALL apoc.create.node(node.labels, node.properties) YIELD node AS n
SET n.id = node.id
接着
CALL apoc.load.json("file:///test.json") YIELD value AS row
with row
UNWIND row.graph.relationships AS rel
MATCH (a) WHERE a.id = rel.endNode
MATCH (b) WHERE b.id = rel.startNode
CALL apoc.create.relationship(a, rel.type, rel.properties, b) YIELD rel AS r
return *
(我必须分两次做,否则它们是由于两者的关系重复unwind
)。
但这非常慢,因为我有很多实体,我怀疑程序会搜索所有实体以查找每个关系。
同时,我知道"startNode": 3510983
指的是一个节点。所以问题是:是否存在使用 ids 作为索引或其他东西来加速导入过程?
请注意,我的节点有不同的类型。所以我没有找到为所有这些创建索引的方法,我想那会太大(内存)
[我的解决方案]
CALL apoc.load.json('file:///test.json') YIELD value
WITH value.graph.nodes AS nodes, value.graph.relationships AS rels
UNWIND nodes AS n
CALL apoc.create.node(n.labels, apoc.map.setKey(n.properties, 'id', n.id)) YIELD node
WITH rels, COLLECT({id: n.id, node: node, labels:labels(node)}) AS nMap
UNWIND rels AS r
MATCH (w{id:r.startNode})
MATCH (y{id:r.endNode})
CALL apoc.create.relationship(w, r.type, r.properties, y) YIELD rel
RETURN rel
解决方案
[编辑]
这种方法可能更有效:
CALL apoc.load.json("file:///test.json") YIELD value
WITH value.graph.nodes AS nodes, value.graph.relationships AS rels
UNWIND nodes AS n
CALL apoc.create.node(n.labels, apoc.map.setKey(n.properties, 'id', n.id)) YIELD node
WITH rels, apoc.map.mergeList(COLLECT({id: n.id, node: node})) AS nMap
UNWIND rels AS r
CALL apoc.create.relationship(nMap[r.startNode], r.type, r.properties, nMap[r.endNode]) YIELD rel
RETURN rel
这个查询根本不使用MATCH
(也不需要索引),因为它只依赖于从导入的节点 id 到创建的节点的内存映射。但是,如果导入的节点很多,则此查询可能会耗尽内存。
它还SET
通过使用apoc.map.setKey将id
属性添加到n.properties
.
2UNWIND
不会导致笛卡尔积,因为此查询使用聚合函数 COLLECT
(在第二个之前UNWIND
)将所有前面的行压缩为一个(因为分组键 ,rels
是单例)。
推荐阅读
- vue.js - sass-loader 多次注入样式
- security - 更新密码流程
- javascript - React 应用程序在使用 react-scripts start 运行时工作正常,但在构建时得到“Unexpected SyntaxError: Unexpected Token: <”
- python - 棉花糖中的通用模式
- javascript - 通过 map() 函数复制没有第一个对象的数组
- reactjs - Nextjs 热重新加载每次更改顺风 css 需要 8-10 秒
- postgresql - 创建具有静态值的唯一 PostgreSQL 约束
- string - 使用颤振拆分字符串
- c# - 取出列表的元素直到某个值
- flutter - 无法通过颤振在 iOS 14 上运行 ios 应用程序