时间戳

首页 > 解决方案 > 如何使用 gocolly 编写此等效代码

go - 如何使用 gocolly 编写此等效代码

问题描述

我尝试使用https://github.com/gocolly/colly.我尝试访问 URL 并将完整响应保存在我的本地磁盘上，例如访问 google.com 并保存 URL google.html 的完整响应正文。

<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="bn"><head><meta content="text/html; charset=UTF-8" http-;google.pmc=JSON.parse(pmc);})();</script>        </body></html>


func main() {
    response, err := http.Get("https://www.google.com")
    if err != nil {
        log.Fatal(err)
    }
    defer response.Body.Close()

    outFile, err := os.Create("google.html")
    if err != nil {
        log.Fatal(err)
    }
    defer outFile.Close()

    // Copy data from HTTP response to file
    _, err = io.Copy(outFile, response.Body)
    if err != nil {
        log.Fatal(err)
    }
}

我的预期输出：

<!doctype html><html itemscope="" itemtype="http://schema.org/WebPage" lang="bn"><head><meta content="text/html; charset=UTF-8" http-;google.pmc=JSON.parse(pmc);})();</script>        </body></html>

标签： gowebweb-scraping

解决方案

推荐阅读