时间戳

首页 > 解决方案 > 奇怪的 gzip - 几乎提取，但不完全正确

python - 奇怪的 gzip - 几乎提取，但不完全正确

问题描述

某些程序将一些以开头的信息发送\x1f\xe2\x80\xb9\x08\x00\x00\x00\x00\x00\x04\x00M...到服务器并接收文本响应。我需要猜测它是什么信息。

事实上，我需要将真实字符串转换为相同的压缩原始字符串的方法，以便在没有该程序的情况下接收响应。

经过调查，我发现首先我应该将数据从 utf8 解码为 cp1251（之后第一个符号\x1f\xe2\x80\xb9\x08将\x1f\8b\x08是典型的 gzip 魔术字符串）。它会损坏 gzip，但如果我剪掉它的标题（前 10 个符号），我可以提取最终可读的消息。

但是这条消息几乎没有损坏（开始正确，但后来一些符号被打乱了）。

应该怎么做才能正确读取数据？

我猜在 decode_binary_from_utf8_to_cp1251 期间我丢失了一些信息，因为如果我不使用 on_errors='replace' 数据将无法正确转换（我尝试过其他编码也\x1f\xe2\x80\xb9\x08可以\x1f\8b\x08魔术但没有成功，没有编码能够 100% 无错误地转换）。而且，当我剪切标题（压缩字符串的前 10 个符号）时，也可能会丢失一些数据。

我的代码：

import zlib
import base64


def decode_binary_from_utf8_to_cp1251(data):
    enc_from = "utf8"
    enc_to = "cp1251"
    on_errors = "replace"
    # on_errors = ""
    return data.decode(enc_from, on_errors).encode(enc_to, on_errors)


def remove_archive_signature_from_start(data):
    return data[10:]


def decompress_gzip(body):
    args = (-zlib.MAX_WBITS | 16,)  # working
    return zlib.decompress(body, *args)


def convert_binary_to_normal_text(b, encoding="cp1251"):
    b = b.decode(encoding, "replace")
    return b


base64_encoded = "L2dldC8f4oC5CAAAAAAABABN4oCZX+KAmdCrIAzQltCH0KLQ ... gMAAA=="

data = base64.b64decode(base64_encoded)[5:]
# data = b'\x1f\xe2\x80\xb9\x08\x00\x00\x00\x00\x00\x04\x00...\x03\x00\x00'

new_data = decode_binary_from_utf8_to_cp1251(data)
new_data = remove_archive_signature_from_start(new_data)

decompressed = decompress_gzip(new_data)
normal_text = convert_binary_to_normal_text(decompressed)

print(f"{normal_text=}")

返回类似的文本

...
;btennis,1oatchoomkcom®1i,hoomkcomwilliamhillmkcomwom;bein.zegoalbet.cal;bmosityom;beokt;favet.colpasbein.zeni;bmosbet.learathssityligbetavtchoomkpar)rrathssitnoarathoinfo
...

, 开始正确，但后来一些符号被打乱（因为我确切地知道它应该包括 string ;wwin.com;zebet.com;baltbet.ru;winlinebet.com;golpas.com;zenitbet.com;leonbets.ru;ligastavok.com;parimatch.com;fonbet.info®）

任何想法我错过了什么？

标签： pythongzip

解决方案

“某些程序”有一个需要修复的错误。一般来说，UTF编码不是无损的，所以原始数据是不可恢复的。该程序不需要进行任何此类转换，而是发送原始二进制文件。

通过使用Windows-1251 Wikipedia page上的表，我能够从示例中恢复原始 gzip 文件，并添加。您会注意到该表中没有任何字符0x98。我假设 unicode 符号U+0098转换为 byte 0x98。应用该转换并删除结果的前五个字节会给出一个有效的 gzip 流，并具有正确的 CRC 和长度检查。

不能保证这通常会起作用，因为提供的示例没有所有可能的字节值。

推荐阅读