post - 将压缩的文本文件发布到 apache nifi

必须通过 HTTP 或 HTTPS 将 zip 格式的压缩文本文件发送到 apache nifi。在那里它必须被解压缩并存储在 HDFS 上。迄今为止的努力是徒劳的。

测试文件是一个压缩的文本文件blabla.txt

Python 帖子

import requests
requests.post('http://example.com/endpoint',
              files={'files': open('blabla.zip', 'rb')})

尼菲工艺

我最好的尝试是使用以下 Nifi 处理器：

处理HttpRequest
flowfile的RouteOnAttribute（端点/端点过滤器）内容是：

--e313bde14db343d99c74fbb129fba9ac 内容配置：表单数据；名称="文件"; 文件名="blabla.zip"

PKh|�L��G blabla.txtK,NAB�)�&PKh|�L��G $ blabla.txt f�-.��<,��<,�PK\3
提取文本

文件=文件^Content\-Disposition.*?(^PK.*)$.*?^\-\-.*?\-\-$ 名=^Content\-Disposition\: form\-data\; name\=\"files\"\; filename\=\"(.*?)\"
ReplaceText：将 .* 替换为 $(file) 以将流文件的全部内容替换为file。流文件内容现在是：

PKh|�L��G blabla.txtK,NAB�)�&PKh|�L��G $ blabla.txt f�-.��<,��<,�PK\3
UnpackContent引发以下错误：

09:43:04 CEST - 所有节点 - 错误 UnpackContent[id=d1973e21-d051-1530-ffff-fffff1485298] 无法解压 StandardFlowFileRecord[uuid=2d63555b-ff0f-4383-99d1-496df13c7a00,claim=StandardContentClaim [resourceClaim=Stand[ id=1530878768408-1, container=default, section=1], offset=24932, length=201],offset=0,name=1054961836825343,size=201] 由于 org.apache.nifi.processor.exception.ProcessException： UnpackContent [id=d1973e21-d051-1530-ffff-fffff1485298] 引发的 IOException：java.util.zip.ZipException：设置的代码长度无效；路由失败：从 UnpackContent [id=d1973e21-d051-1530-ffff-fffff1485298] 引发的 IOException：java.util.zip.ZipException：设置的代码长度无效

没有提取/替换

处理HttpRequest
flowfile的RouteOnAttribute（端点/端点过滤器）内容是：

--e313bde14db343d99c74fbb129fba9ac 内容配置：表单数据；名称="文件"; 文件名="blabla.zip"

PKh|�L��G blabla.txtK,NAB�)�&PKh|�L��G $ blabla.txt f�-.��<,��<,�PK\3
UnpackContent产生以下错误：

09:04:16 CEST - 所有节点 - 错误 UnpackContent[id=4ffa337f-0a73-197a-9965-c1334338ebd8] 无法解压 StandardFlowFileRecord[uuid=93cad6cf-e19b-4d0b-9d2d-54e38b9b8bed,claim=StandardContentClaim [resourceClaim=StandardResourceClaim[ id=1530878768408-1, container=default, section=1], offset=21130, length=312],offset=0,name=1052634174590117,size=312] 由于 org.apache.nifi.processor.exception.ProcessException： UnpackContent [id=4ffa337f-0a73-197a-9965-c1334338ebd8] 引发的 IOException：java.util.zip.ZipException：意外记录签名：0X65632D2D；路由失败：从 UnpackContent [id=4ffa337f-0a73-197a-9965-c1334338ebd8] 引发的 IOException：java.util.zip.ZipException：意外的记录签名：0X65632D2D

标签： postzipapache-nifi