时间戳

首页 > 解决方案 > python3.6用aiohttp和asyncio启动100万个请求

python-3.x - python3.6用aiohttp和asyncio启动100万个请求

问题描述

我试图用 aiohttp 和 asyncio 连续 10 次发出 100 万个请求，每次 10k。当我打印每个请求的开始时间时，我发现这 100 万个请求不是在非常关闭的时间开始的，而是在几分钟内开始的。据我了解，这 100 万个请求将在没有任何等待的情况下发送（或者只是说以微秒为单位？）希望有人能帮我提出如何更改代码的建议，我的代码如下。提前致谢！

import asyncio
import requests
import json
import pymysql
from aiohttp import ClientSession
from datetime import datetime
import uvloop


# login config
URL_LOGIN = "https://test.com/user/login"
APP_ID = "sample_app_id"
APP_SECRET = "sample_secret"


async def login_user(phone, password, session, i):
    start_time = datetime.now()
    h = {
        "Content-Type": "application/json"
    }
    data = {
        "phone": phone,
        "password": password,
        "appid": APP_ID,
        "appsecret": APP_SECRET
            }
    try:
        async with session.post(url=URL_LOGIN, data=json.dumps(data), headers=h) as response:
            r = await response.read()
            end_time = datetime.now()
            cost = (end_time-start_time).seconds
            msg = "number %d request，start_time：%s, cost_time: %d, response: %s\n" % (i, start_time, cost, r.decode())
            print("running %d" % i, datetime.now())
    except Exception as e:
        print("running %d" % i)
        msg = "number %d request raise error" % i+str(e)+"\n"
    with open("log", "a+") as f:
        f.write(msg)


async def bound_login(sem, phone, password, session, i):
    async with sem:
        await login_user(phone, password, session, i)


async def run_login(num):
    tasks = []
    sem = asyncio.Semaphore(10000)
    async with ClientSession() as session:
        for i in range(num):
            task = asyncio.ensure_future(bound_login(sem, str(18300000000+i), "123456", session, i))
            tasks.append(task)
        responses = asyncio.gather(*tasks)
        await responses

start = datetime.now()
number = 100000
loop = uvloop.new_event_loop()
asyncio.set_event_loop(loop)
future = asyncio.ensure_future(run_login(number))

标签： python-3.xpython-asyncioaiohttp

解决方案

当我打印每个请求的开始时间时，我发现这 100 万个请求不是在非常关闭的时间开始的，而是在几分钟内开始的。

您的代码确实发出了总共 100 万个请求，但限制是在任何给定时间并行运行的请求不超过 10000 个。这就像有 10,000 个请求槽可供您使用 - 前 10,000 个请求将立即启动，但第 10,001 个请求必须等待前一个请求完成，以便获得空闲槽。

这就是为什么 100 万个请求不能立即或几乎立即启动的原因，它们中的大多数必须等待一些下载完成，这需要时间。

据我了解，这100万个请求将被发送而无需任何等待

当前代码显式地使请求等待，以防止超过 10k 的请求并行运行。如果您真的想（尝试）发出一百万个并行请求，请删除信号量并ClientSession使用设置为的连接器创建。limitNone

但是，请注意，由于操作系统和硬件的限制，维持一百万个打开的连接可能无法正常工作。（您仍然应该能够几乎立即启动连接，但我希望它们中的大多数会在不久之后出现异常退出。）

推荐阅读