时间戳

首页 > 解决方案 > 如何改进实现的文件下载器

go - 如何改进实现的文件下载器

问题描述

我正在尝试提高我在 Go 中实现的下载器的性能。我认为我遇到了内存使用问题，因为当我尝试下载大文件（如 1gb 或更大）时程序卡住了。我用它下载了 100mgb 和 300mgb 左右的文件，一切正常。下载器在提供标头 Accept-Ranges 的服务器上使用。下面我将向您展示实现和主要部分，但首先让我解释一下。

接受范围：字节

在这个实现中，我创建了一个 http.Client 来使用我请求的文件部分设置标题范围，之后我提出了请求。为了存储这个请求的响应，我创建了一个临时文件，并将响应直接复制到这个文件中。这样做的想法是避免将整个响应复制到内存中。这是实现：

func DownloadPart(wg *sync.WaitGroup, tempName string, url string, part string) {
    //setting up the client to make the request
    client := http.Client{}
    request, err := http.NewRequest("GET", url, nil)

    //setting up the requests
    request.Header.Set("Range", part)
    response, err := client.Do(request)
    checkError(err, "fatal")
    defer response.Body.Close()

    //creating the temporary file and copying
    // the response to it
    file, err := os.Create(tempName)
    checkError(err, "panic")
    defer file.Close()
    
    _, err = io.Copy(file, response.Body)
    checkError(err, "fatal")

    defer wg.Done()
}

这个函数在各种 goroutine 中被调用，所以当 gorputine 结束下载部分文件时，我使用了 WaitGroup 来减少计数器。在所有这些 goroutine 结束后，我将不同的临时文件加入到一个文件中。这是join函数的实现

func joinFiles(name string) {
    finalFile, err := os.OpenFile(name, os.O_CREATE|os.O_APPEND|os.O_WRONLY, 0644)
    if err != nil {
        log.Panicln(err.Error())
    }
    defer finalFile.Close()

    files, err := ioutil.ReadDir(".")

    for _, f := range files {
        tempData, err := ioutil.ReadFile(f.Name())
        if err != nil {
            log.Panicln(err.Error())
        }

        if f.Name() != finalFile.Name() {
            finalFile.Write(tempData)
            os.Remove(f.Name())
        }
    }
}

现在我将向您展示使用这些功能的主要功能部分

//start, end and rest are used to set the Range header in the requests 
//threads are the number of goroutines to used in the download
var wg sync.WaitGroup
wg.Add(threads)
//initializing the goroutines
for i := 0; i < threads; i++ {
    part := fmt.Sprintf("bytes=%d-%d", start, end)
    start = end + 1
    if i == threads-1 {
        end = end + step + rest
    } else {
        end = end + step
    }
    go tools.DownloadPart(&wg, fmt.Sprintf("%d.temp", i), url, part)
}
wg.Wait()
log.Println("Joining files...")
joinFiles(name)

如果有办法改进这个实现？

标签： gomemoryheader

解决方案

我认为这里最大的问题是您如何将文件拼接在一起。调用ioutil.ReadAll会将整个文件的内容读取到内存中，并且由于您对所有部分都执行此操作，因此您可能会在内存中结束整个文件的内容（GC 可能会在中间运行并释放其中的一些内容。）要做的是io.Copy在文件上使用（在用打开它之后os.Open）将其复制到最终文件中。这样您就不必将内容存储在内存中。

推荐阅读