时间戳

首页 > 解决方案 > 使用 Python 访问 Amazon EC2 服务器上的文件

python - 使用 Python 访问 Amazon EC2 服务器上的文件

问题描述

如果这是一个非常简单的问题，我深表歉意，但我在 Google 上找不到任何信息来提供帮助。

我有一个 Amazon EC2 服务器设置，它收集通过一些科学仪器流式传输到服务器的数据并将其保存为 .csv 文件。

我想从我的（远程）笔记本电脑上运行的 Python 脚本访问这些 .csv 文件。这可能吗？

我的理解是，我需要我的 Python 代码“登录”到服务器，然后将文件下载到本地目录。

任何帮助/指针将不胜感激。

更新 1

我安装了 paramiko 并尝试了下面的代码

import paramiko
paramiko.util.log_to_file("D:/Temp/aws/paramiko.log")

# Open a transport
host,port = "##.##.###.##",##
transport = paramiko.Transport((host,port))

# Auth    
username,password = "username","password"
transport.connect(None,username,password)

但是，我收到以下错误：

SSHException: Error reading SSH protocol banner

日志文件如下所示：

DEB [20210202-17:54:47.282] thr=1   paramiko.transport: starting thread (client mode): 0x5202388
DEB [20210202-17:54:47.283] thr=1   paramiko.transport: Local version/idstring: SSH-2.0-paramiko_2.7.2
DEB [20210202-17:54:47.384] thr=1   paramiko.transport: Banner: 220-FileZilla Server 0.9.60 beta
DEB [20210202-17:54:47.384] thr=1   paramiko.transport: Banner: 220-written by Tim Kosse (tim.kosse@filezilla-project.org)
DEB [20210202-17:54:47.384] thr=1   paramiko.transport: Banner: 220 Please visit https://filezilla-project.org/
DEB [20210202-17:54:48.003] thr=1   paramiko.transport: Banner: 500 Syntax error, command unrecognized.
ERR [20210202-17:54:50.019] thr=1   paramiko.transport: Exception: Error reading SSH protocol banner
ERR [20210202-17:54:50.026] thr=1   paramiko.transport: Traceback (most recent call last):
ERR [20210202-17:54:50.027] thr=1   paramiko.transport:   File "C:\Users\caira\Anaconda3\lib\site-packages\paramiko\transport.py", line 2211, in _check_banner
ERR [20210202-17:54:50.027] thr=1   paramiko.transport:     buf = self.packetizer.readline(timeout)
ERR [20210202-17:54:50.027] thr=1   paramiko.transport:   File "C:\Users\caira\Anaconda3\lib\site-packages\paramiko\packet.py", line 380, in readline
ERR [20210202-17:54:50.027] thr=1   paramiko.transport:     buf += self._read_timeout(timeout)
ERR [20210202-17:54:50.027] thr=1   paramiko.transport:   File "C:\Users\caira\Anaconda3\lib\site-packages\paramiko\packet.py", line 622, in _read_timeout
ERR [20210202-17:54:50.028] thr=1   paramiko.transport:     raise socket.timeout()
ERR [20210202-17:54:50.028] thr=1   paramiko.transport: socket.timeout
ERR [20210202-17:54:50.028] thr=1   paramiko.transport: 
ERR [20210202-17:54:50.028] thr=1   paramiko.transport: During handling of the above exception, another exception occurred:
ERR [20210202-17:54:50.028] thr=1   paramiko.transport: 
ERR [20210202-17:54:50.029] thr=1   paramiko.transport: Traceback (most recent call last):
ERR [20210202-17:54:50.029] thr=1   paramiko.transport:   File "C:\Users\caira\Anaconda3\lib\site-packages\paramiko\transport.py", line 2039, in run
ERR [20210202-17:54:50.029] thr=1   paramiko.transport:     self._check_banner()
ERR [20210202-17:54:50.029] thr=1   paramiko.transport:   File "C:\Users\caira\Anaconda3\lib\site-packages\paramiko\transport.py", line 2216, in _check_banner
ERR [20210202-17:54:50.029] thr=1   paramiko.transport:     "Error reading SSH protocol banner" + str(e)
ERR [20210202-17:54:50.029] thr=1   paramiko.transport: paramiko.ssh_exception.SSHException: Error reading SSH protocol banner
ERR [20210202-17:54:50.029] thr=1   paramiko.transport:

我在做一些明显错误的事情吗？

我应该改用“公共 IPv4 DNS”吗？=> ec2-##-##-###-##.us-east-2.compute.amazonaws.com

我不确定我上面的用户名应该是我的完整电子邮件地址还是较短的用户名。

标签： pythonamazon-web-servicescsvamazon-ec2download

解决方案

您可以使用 SCP 或 SFTP 连接到服务器并将数据复制到本地计算机。有很多方法可以做到这一点，但对于您的用例，您可以使用像 Paramiko 这样的库来处理连接和文件传输，如果您喜欢示例代码，请查看答案https://stackoverflow.com/a/3635163/ 2156106

更新： 对于 EC2 实例，您需要使用您在创建实例时下载或提供的私钥，如下所示

import paramiko

key = paramiko.RSAKey.from_private_key_file("path_to_key.pem")

transport = paramiko.Transport((host, port))
transport.connect(username="username", pkey=key)

sftp = paramiko.SFTPClient.from_transport(transport)
sftp.get(remote_path , local_path)

用户名应该是服务器上的用户名。如果它是 ubuntu 服务器，则ubuntu默认情况下在 EC2 中。

推荐阅读