时间戳

首页 > 解决方案 > 在不同的 linux 帐户上使用 ipython：命令卡住

linux - 在不同的 linux 帐户上使用 ipython：命令卡住

问题描述

我安装miniconda3在一个 linux 帐户上，然后我创建了一个环境py37，安装了所有需要的包，并且能够ipython从第二个帐户启动并导入我想要导入的包：hail. 为此，我将文件夹中的所有权限更改miniconda3为777。不知何故，在第二个帐户上运行的命令卡住了，但是在miniconda3安装的第一个帐户上执行时，它运行成功：

     import hail as hl
---> mt = hl.balding_nichols_model(n_populations=3, n_samples=50, n_variants=100)
     mt.count()

中间命令卡住了。没有错误，只是没有返回。当我hl.balding_nichols_model在原始帐户上运行时，它也会给我一个警告（但运行成功，结果在 中mt.count()）：

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类

问题是，在命令失败的另一个帐户上，我安装了 Hadoop。所以，我有点怀疑它在某种程度上是相关的。我完全被卡住了，所以会很感激任何建议。我需要这样做 -miniconda3在一个帐户上安装，然后从另一个帐户访问它 - 因为在第一个帐户上我有数 TB 的免费数据，但在第二个帐户上 - 4Gb，不幸的是它无法进一步扩展。有了miniconda3我会很快超越极限。

可以在此处找到有关实际软件的其他信息：

https://hail.is/docs/0.2/getting_started.html#installation

更新

我python37在conda当前节点上单独安装，不知何故它也不起作用，所以这不是权限问题，现在问题仅限于那个特定的 linux 帐户。我安装了spark2.4，但这并没有解决问题。因此，python 脚本中的中间命令卡住了，我什至不知道如何获取log输出，那里发生了什么。

标签： linuxapache-sparkpermissionsminicondahail

解决方案

可以在这里找到“卡住”问题的答案：

https://discuss.hail.is/t/spark-2-4-4-gets-stuck-in-initialization-phase/1178

我在Hail论坛上问过这个问题，然后在我们解决了这个问题后自己回复了。结果是空间问题：当您正在处理的分区没有足够的空间时，应该将hadoop和spark日志重定向到不同的位置。

推荐阅读