python - 使用 np.memmap 读取数据流

Question

我有一个非常大的字节数据文件，当我使用时，np.memmap我会用完资源来读取文件，我也无法使用fp.read. 我想到的解决方案是使用以下代码流式传输文件，

with open(filename, mode='rb') as fp:
    while True:
        chunk = fp.read(1024)
        int_chunk = numpy.fromfile(chunk, dtype=numpy.int16)
        
        if not chunk:
            break

但是，当我这样做时，我收到以下错误，

UnicodeDecodeError: 'utf-8' codec can't decode btye 0xff in position 68: invalid start byte

我不确定如何同时蒸汽和转换数据。任何想法或解决方法表示赞赏！

标签： pythonnumpyfile-io