python - 重复执行 cwd 和 listdir 时,Pysftp/Paramiko“没有这样的文件”
问题描述
我正在编写一个 Python 脚本(用于测试目的),它从目录下载 xml 文件,将其转换为 json,将其转换回 xml 并再次将其上传到不同的目录,只要有一个 xml 文件留在源目录。
def start():
now = str(datetime.now().strftime("%d%m%Y%H%M%S"))
try:
pysftp.Connection(HOST, username=AGENT, password=PW, private_key=".ppk", cnopts=CNOPTS)
except:
print('Connection error')
return
xml_data = []
new_xml = ''
with pysftp.Connection(HOST, username=AGENT, password=PW, private_key=".ppk", cnopts=CNOPTS) as sftp:
for filename in sftp.listdir(SOURCE_FOLDER):
if fnmatch.fnmatch(filename, WILDCARD) and 'cancel' not in filename:
doc_type = return_doc_type(filename)
sftp.cwd(SOURCE_FOLDER)
file_object = io.BytesIO()
sftp.getfo(filename, file_object)
xml_file = file_object.getvalue()
new_xml = xmltodict.parse(xml_file)
if new_xml == '':
return
xml_data.append(new_xml)
json_data = json.dumps(xml_data)
new_xml_file = '<?xml version="1.0" encoding="utf-8" standalone="yes"?>' + dict2xml(json.loads(json_data))
new_xml_file = indent(new_xml_file, indentation = ' ',newline = '\r\n')
with pysftp.Connection(HOST, username=AGENT, password=PW, private_key=".ppk", cnopts=CNOPTS) as sftp2:
with sftp2.cd(DEST_FOLDER):
with sftp2.open(f'test-{AGENT}-{doc_type}-{now}.xml', mode='w+', bufsize=32768) as f:
f.write(new_xml_file)
print('xml file deployed on server: ', now, '\n')
file_count = len(sftp.listdir(SOURCE_FOLDER))
if file_count > 3:
start()
else:
print('no new files')
return
SOURCE_FOLDER
就像'somefolder/out/'
。_
我已经用一个文件对其进行了测试并且它可以工作,但是当我尝试使其递归时,在第二次迭代后出现此错误:
Exception in thread django-main-thread:
Traceback (most recent call last):
File ".../app/views.py", line 232, in start
file_count = len(sftp.listdir(SOURCE_FOLDER))
File ".../lib/python3.7/site-packages/pysftp/__init__.py", line 592, in listdir
return sorted(self._sftp.listdir(remotepath))
File ".../lib/python3.7/site-packages/paramiko/sftp_client.py", line 218, in listdir
return [f.filename for f in self.listdir_attr(path)]
File ".../lib/python3.7/site-packages/paramiko/sftp_client.py", line 239, in listdir_attr
t, msg = self._request(CMD_OPENDIR, path)
File ".../lib/python3.7/site-packages/paramiko/sftp_client.py", line 813, in _request
return self._read_response(num)
File ".../lib/python3.7/site-packages/paramiko/sftp_client.py", line 865, in _read_response
self._convert_status(msg)
File ".../lib/python3.7/site-packages/paramiko/sftp_client.py", line 894, in _convert_status
raise IOError(errno.ENOENT, text)
FileNotFoundError: [Errno 2] No such file
原始文件在源目录中,所以我不知道“没有这样的文件”是指什么。
感谢您的任何建议
解决方案
你SOURCE_FOLDER
的是一个相对路径somefolder/out/
。所以说,你从/home/path
. 然后当你cwd
到时somefolder/out/
,你最终在/home/path/somefolder/out/
。如果你那么ls
somefolder/out/
,你实际上指的是/home/path/somefolder/out/somefolder/out/
,很可能不是你想要的。
这实际上意味着即使您的for filename
循环也无法工作。正如您cwd
在somefolder/out/
每次迭代中所做的那样,在第二次迭代中,它必须失败,因为它会尝试cwd
失败/home/path/somefolder/out/somefolder/out/
。
您最好使用绝对路径来避免这种混乱。
您的代码还有其他问题。例如:
我不明白,为什么你打开第二个连接到同一主机进行上传。您可以使用已有的连接。
xmltodict.parse
可以采用类似文件的对象。没有必要通过复制BytesIO
到字符串来浪费内存。实际上你甚至不需要浪费内存BytesIO
,你可以使用:with sftp.open(filename, bufsize=32768) as f: new_xml = xmltodict.parse(f)
推荐阅读
- c# - 通过 Webforms Page .Net Frameworks 调用 API WEB
- arduino - 将 char* 转换为字节数组的 Arduino 函数
- javascript - React 中的 onMouseEnter 事件无法正常工作
- regex - 如何在每个单词正则表达式的这个大写首字母上添加字符长度最小值和最大值验证
- java - java:对于 log4j 2.13.3,包 org.apache.logging.log4j 不存在
- json - 在打字稿组件变量中使用json对象值?
- java - java - 如何在java中使用带有重载构造函数的if else条件
- angular9 - 如何更改角度 slickgrid 中组标题行的背景颜色?
- parsing - 如何在 Julia 中有效地读取 xyz 格式的文本文件?
- python - Creating two instances of this class, creates weird behavior tkinter python