redis - 如何降低epoll_wait调用的finish_task_switch()的CPU使用率?
问题描述
我编写了一个简单的 epoll 驱动服务器来测试网络/io 性能。服务器只需接收请求并立即发送响应。它比 redis-server 'get', 38k/s vs 40k/s 慢。两者都使用 redis-benchmark 作为负载运行器,并且都使用了 cpu up (>99%)。
bench redis-server: redis-benchmark -n 1000000 -c 20 -t get -p 6379
bench myserver : redis-benchmark -n 1000000 -c 20 -t get -p 6399
我已经使用 linux perf 对它们进行了分析,消除了 myserver 中的 epoll_ctl(就像 redis-server 所做的那样)。现在的问题是函数 finish_task_switch() 占用了太多的 cpu 时间,大约 10%-15%(对于 redis-server 和 redis-benchmark 是 3%,在同一台机器上)。
调用流程(自上而下阅读)是
-> epoll_wait(25%)
-> entry_SYSCALL_64_after_hwframe(23.56%)
-> do_syscall_64(23.23%)
-> sys_epoll_wait(22.36%)
-> ep_poll(21.88%)
-> schedule_hrtimeout_range( 12.98%)
-> schedule_hrtimeout_range_clock(12.74%)
-> schedule(11.30%)
-> _schedule(11.30%)
-> finish_task_switch(10.82%)
我尝试使用原始 epoll api 编写服务器,并在 redis/src/ae.c 中使用 redis 的 api,没有任何改变。
我检查了redis-server和redis-benchmark如何使用epoll,没有发现任何技巧。
redis CFLAGS 用于 myserver,与 redis-benchmark 相同。
CPU使用率与level/edge-triggered、block或nonblock client fd无关,无论epoll_wait的超时设置与否。
#include <sys/epoll.h>
#include <sys/socket.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h> // exit
#include <string.h> // memset
#include "anet.h"
#define MAX_EVENTS 32
typedef struct {
int fd;
char querybuf[256];
} client;
client *clients;
char err[256];
#define RESPONSE_REDIS "$128\r\nxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx\r\n"
static int do_use_fd(client *c)
{
int n = read(c->fd, c->querybuf, sizeof(c->querybuf));
if (n == 0) { printf("Client Closed\n"); return n; }
n = write(c->fd, RESPONSE_REDIS, sizeof(RESPONSE_REDIS)-1);
return n;
}
int main()
{
struct epoll_event ev, events[MAX_EVENTS];
int listen_sock, conn_sock, nfds, epollfd;
epollfd = epoll_create(MAX_EVENTS);
listen_sock = anetTcpServer(err, 6399, NULL, MAX_EVENTS);
ev.events = EPOLLIN;
ev.data.fd = listen_sock;
epoll_ctl(epollfd, EPOLL_CTL_ADD, listen_sock, &ev);
clients = (client *)malloc(sizeof(client) * MAX_EVENTS);
memset(clients, 0, sizeof(client) * MAX_EVENTS);
for (;;) {
int n;
struct sockaddr addr;
socklen_t addrlen = sizeof(addr);
nfds = epoll_wait(epollfd, events, MAX_EVENTS, 100);
for (n = 0; n < nfds; ++n) {
if (events[n].data.fd == listen_sock) {
conn_sock = accept(listen_sock,
(struct sockaddr *) &addr, &addrlen);
anetNonBlock(err, conn_sock);
ev.events = EPOLLIN;
//ev.events = EPOLLIN | EPOLLET;
ev.data.fd = conn_sock;
epoll_ctl(epollfd, EPOLL_CTL_ADD, conn_sock,&ev);
clients[conn_sock].fd = conn_sock;
} else {
client *c = &clients[events[n].data.fd];
int ret = do_use_fd(c);
if (ret == 0) {
epoll_ctl(epollfd, EPOLL_CTL_DEL, c->fd, &ev);
}
}
}
}
}
解决方案
服务器的监听 fd 被阻塞。将其设置为非阻塞可将 finish_task_switch 的使用率降低到 <2%。
推荐阅读
- .htaccess - Htaccess 从一个页面重定向到另一个页面?
- hbase - Hbase:一次执行多个shell命令
- kdb - 处理单字符串——在函数中还是在调用者中?ssr()
- elixir - 如何在 Elixir 中为自定义类型的数组实现字符串协议?
- c# - 在 C# REST API 中限制上传文件的大小
- ios - 如何使用 Accelerate 的线性插值
- javascript - 我应该如何更新通过道具发送给父级的子组件中的数据
- python - 将变量从 Django 模板传递给视图
- python - 如何使 Python 将序列视为 1 索引而不是 0 索引?
- sparql - RDFox 守护进程端口