时间戳

首页 > 解决方案 > 如何将安装在一台机器上的 Anaconda env 传输到服务器？

python - 如何将安装在一台机器上的 Anaconda env 传输到服务器？

问题描述

有没有办法将我现有的环境（已经安装了所有东西）传输/复制到服务器？

$ conda env export > environment.yaml

spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3
  1. 使用上述命令通过激活 conda 环境在本地系统上运行。
  2. 所以我的下一步是在服务器端运行相同的代码

标签： pythonpysparkcondaspark-submit

解决方案

首先，我们需要使用以下命令打包 conda env

  1. 激活您要打包的 conda env，然后使用以下命令

    (your_conda_env) vishal@vishal-linux:~$ conda pack -n your_conda_env

  • 打包您的环境后，它将创建“your_conda_env.tar.gz”文件夹

  • 您可以在服务器（或任何其他机器）上移动此文件夹并使用以下命令运行您的 spark 作业

    PYSPARK_PYTHON=/home/vishal/your_conda_env/bin/python spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/NewConnection.py 9dhd38910242a7b9793ed3

推荐阅读