apache-spark - 在 Luigi 中访问不同类型的预设目标位置

Question

我有一个luigi管道。有一个文件Google Cloud被设置为目标位置：

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/luigi_pipeline/lib/hail_tasks.py#L37

现在，有一种run_vep()方法可以调用其他方法，最终会调用以下不同的方法run_vep()：

https://github.com/macarthur-lab/hail-elasticsearch-pipelines/blob/d6e9dedbce929c04c294c54095663ba94a4de3f0/hail_scripts/v02/utils/hail_utils.py#L103

我们正在使用Google Cloud路径来访问文件，但我现在想访问本地文件。有没有办法改变luigi临时查找文件的位置？问题是我有两个位置luigi可以获取文件，并且需要两个位置都可以访问，而不仅仅是一个或另一个。这个问题怎么处理luigi？

标签： apache-sparkluigihail

Answer 1

事实证明，他们的函数hl.vep()实际上期望config应该有本地路径而不是本地路径hadoop。指定本地路径后，事情对我有用。知道如何直接访问这个或那个文件系统仍然很有趣，因为它的源代码hl.vep()也可能有用。