go - 为什么 HTTP 请求总是和完全超时一样长?
问题描述
我正在制作一个 _golang git bruteforcer。这有点奇怪,我想这与并发有关。
sync.WaitGroup
package main
import { <snipped for brevity> }
// ReadFile : Reads File and returns it's contents
func ReadFile(fileName string) []string { <snipped for brevity> }
func joinString(strs ...string) string { <snipped for brevity> }
// MakeRequest : Makes requests concurrently
func MakeRequest(client *http.Client, url string, useragent string, ch chan<- string, wg *sync.WaitGroup) {
defer wg.Done()
// start := time.Now()
request, err := http.NewRequest("GET", url, nil)
if err != nil {
fmt.Println(err)
return
}
request.Header.Set("User-Agent", useragent)
response, err := client.Do(request)
if err != nil {
return
}
// secs := time.Since(start).Seconds()
if response.StatusCode < 400 {
// fmt.Printf("Time elapsed %f", secs)
bodyBytes, err := ioutil.ReadAll(response.Body)
if err != nil {
log.Fatal(err)
}
defer response.Body.Close()
bodyString := string(bodyBytes)
notGit, err := regexp.MatchString("<html>", strings.ToLower(bodyString))
if !notGit && len(bodyString) > 0 { // empty pages and html pages shouldn't be included
fmt.Println(bodyString)
ch <- fmt.Sprintf(" %s ", Green(url))
}
}
}
func main() {
start := time.Now()
useragent := "Mozilla/10.0 (Windows NT 10.0) AppleWebKit/538.36 (KHTML, like Gecko) Chrome/69.420 Safari/537.36"
gitEndpoint := []string{"/.git/", "/.git/HEAD", "/.gitignore", "/.git/description", "/.git/index"}
timeout := 10 * time.Second
var tr = &http.Transport{
MaxIdleConns: 30,
IdleConnTimeout: time.Second,
DisableKeepAlives: true,
TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
DialContext: (&net.Dialer{
Timeout: timeout,
KeepAlive: time.Second,
}).DialContext,
}
re := func(req *http.Request, via []*http.Request) error {
return http.ErrUseLastResponse
}
client := &http.Client{
Transport: tr,
CheckRedirect: re,
Timeout: timeout,
}
output := ReadFile(os.Args[1])
// start := time.Now()
ch := make(chan string)
var wg sync.WaitGroup
for _, url := range output {
for _, endpoint := range gitEndpoint {
wg.Add(1)
go MakeRequest(client, "https://"+url+endpoint, useragent, ch, &wg)
}
}
go func() {
wg.Wait()
close(ch)
}()
f, err := os.OpenFile("git_finder.txt", os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0644)
for val := range ch {
if err != nil {
fmt.Println(Red(err))
}
_, err = fmt.Fprintln(f, val)
fmt.Println(val)
}
f.Close()
fmt.Printf("Total time taken %.2fs elapsed\n", time.Since(start).Seconds())
}
在职的 :
它从文件中读取 url 并/.git, /.git/HEAD, /.git/description, /.git/index
在网络服务器上进行检查。
问题:
如果我将http.Client
超时更改为2 seconds
它将在 2 秒内完成,如果是 50 秒它将等到 50 秒,输入文件包含 10 个 url 或 500 个 url 都没有关系。我的理解是,如果有更多数量的 url,它将等到 goroutine 传递的最后一个 URL 超时。
更新 1:
正如阿德里安在评论中提到的那样,它看起来不像是一个并发问题,这就是其中一个主要问题是我无法确定这里的确切问题是什么
解决方案
在您的代码中,您正在从文件中读取 URL,然后向所有这些 URL 发出并行请求,然后等待所有并行请求完成。
所以这实际上是有道理的,并且不会表示问题:
如果我将 http.Client 超时更改为 2 秒,它将在 2 秒内完成,如果是 50 秒,它将等到 50 秒,输入文件包含 10 个 url 或 500 个 url 都没有关系。
假设您的文件有 500 个 URL。
您并行触发 500 个请求……然后等待所有请求完成(请记住,它们都是并行执行的)。那需要多长时间?
在最坏的情况下(所有请求在 50 秒时超时),总共只需要 50 秒(因为它们都在并行等待这 50 秒)。
在最好的情况下(所有请求都成功通过,没有超时),它应该需要几秒钟。
在平均情况下,您可能会看到(在 50 秒时出现几次超时),然后需要 50 秒(您将等待这几个请求并行等待 50 秒,就像在最坏的情况下一样)。
推荐阅读
- android - 甚至无法创建最简单的安卓谷歌地图。未知错误
- excel - Excel 宏 - 在特定文本上方插入行以按页分隔
- maven - 如何在 Maven 中访问特定配置文件下的属性
- java - OpenCSV 错误的日期格式
- ruby-on-rails - 删除 Rails 模型中的关系
- javascript - REST API 到 Redux 状态 - Redux 状态的单独 API 端点?
- java - List 的未经检查的转换警告
- python - Python Pandas 中的排列和组合
- typescript - 从未在类型接口中声明的对象中删除属性
- java - Java making switch case statment shorter