c++ - 在 C++ 中分别测量每个线程上花费的 CPU 时间
问题描述
我知道这个问题听起来像是一个简单的问题,并且是以前的问题的副本,其中 boost.timer 和 C++11 的 chrono 工具作为答案给出。
但是,我的想法有点不同,我在 StackOverflow 或其他地方都没有找到答案:
在 Ubuntu Linux 上的 (C++11) 程序中,我使用 std::async 和 std::future 机制启动了几个线程。
在每个线程中,我使用 boost.timer() 测量 CPU-Time。如果我只启动一个线程,我的 CPU 时间(在我的示例中)约为 0.39 秒,WC 时间相等,约为 0.39 秒。
如果我启动多个线程,每个线程的 WC 时间会更长,例如 16 个线程为 0.8 秒,现在每个线程的 CPU 时间约为 6.4 秒,即 8 * 0.8 秒(我有一个四核 Xeon CPU)。
所以每个线程的 CPU-Time 似乎乘以(CPU 核心数)* 2。
当然(?)我希望每个线程的 CPU 时间接近 0.39 秒,因为这可能仍然是线程将 CPU 用于其目的的时间。显示的较长 CPU 时间(乘以“CPU 数量因子”)对于分别衡量每个线程的真实 CPU 消耗没有太大帮助。
为了说明,我附加了我的测试程序及其输出,首先是一个线程,然后是 16 个线程。
所以我的问题是:我能做些什么,我可以使用哪个库、函数或编程技术,来获得每个线程的真实 CPU 使用率,它不应该随着线程数量的启动而发生太大变化?
#include <iostream>
#include <fstream>
#include <vector>
#include <cmath>
#include <future>
#include <mutex>
#include <chrono>
#include <boost/timer/timer.hpp>
std::mutex mtx;
class XTimer
{
public:
XTimer() {};
void start();
void stop();
double cpu_time();
double boost_cpu_time();
double wc_time();
std::chrono::time_point<std::chrono::system_clock> timestamp_wc;
std::chrono::time_point<std::chrono::steady_clock> timestamp_cpu;
boost::timer::cpu_timer timer_cpu;
double wc_time_val;
double cpu_time_val;
double boost_cpu_time_val;
};
void XTimer::start()
{
timestamp_wc = std::chrono::system_clock::now();
timestamp_cpu = std::chrono::steady_clock::now();
timer_cpu.start();
cpu_time_val = 0;
wc_time_val = 0;
boost_cpu_time_val = 0;
}
void XTimer::stop()
{
const auto ns_wc = std::chrono::system_clock::now() - timestamp_wc;
const auto ns_cpu = std::chrono::steady_clock::now() - timestamp_cpu;
auto elapsed_times(timer_cpu.elapsed());
auto cpu_elapsed(elapsed_times.system + elapsed_times.user);
//std::cout << "boost: cpu elapsed = " << cpu_elapsed << std::endl;
wc_time_val = double(ns_wc.count())/1e9;
cpu_time_val = double(ns_cpu.count())/1e9;
boost_cpu_time_val = double(cpu_elapsed)/1e9;
}
double XTimer::cpu_time()
{
return cpu_time_val;
}
double XTimer::boost_cpu_time()
{
return boost_cpu_time_val;
}
double XTimer::wc_time()
{
return wc_time_val;
}
template<class T>
int wait_for_all(std::vector<std::future<T>> & fuvec)
{
std::vector<T> res;
for(auto & fu: fuvec) {
res.push_back(fu.get());
}
return res.size();
}
int test_thread(int a)
{
const int N = 10000000;
double x = 0;
XTimer tt;
do {
std::lock_guard<std::mutex> lck {mtx};
std::cout << "start thread: " << a << std::endl;
} while (0);
tt.start();
for(int i = 0; i < N; ++i) {
if (i % 10000 == 0) {
//std::cout << (char((int('A') + a)));
}
x += sin(i);
}
tt.stop();
do {
std::lock_guard<std::mutex> lck {mtx};
std::cout << "end thread: " << a << std::endl;
std::cout << "boost cpu = " << tt.boost_cpu_time() << " wc = " << tt.wc_time() << std::endl;
} while (0);
return 0;
}
int test_threads_start(int num_threads)
{
std::vector<std::future<int>> fivec;
XTimer tt;
tt.start();
for(int i = 0; i < num_threads; ++i) {
fivec.push_back(std::async(test_thread, i));
}
int sz = wait_for_all(fivec);
tt.stop();
std::cout << std::endl << std::endl;
std::cout << "all threads finished: total wc time = " << tt.wc_time() << std::endl;
std::cout << "all threads finished: total boost cpu time = " << tt.boost_cpu_time() << std::endl;
}
int main(int argc, char** argv)
{
const int num_threads_default = 1;
int num_threads = num_threads_default;
//boost::timer::auto_cpu_timer ac;
if (argc > 1) {
num_threads = atoi(argv[1]);
}
std::cout << "starting " << num_threads << " threads." << std::endl;
test_threads_start(num_threads);
std::cout << "end." << std::endl;
return 0;
}
我可以编译
g++ -o testit testit.cpp -L/usr/lib/x86_64-linux-gnu -pthread -lboost_timer -lboost_system -lboost_thread
带有 1 个线程的示例输出
starting 1 threads.
start thread: 0
end thread: 0
boost cpu = 0.37 wc = 0.374107
all threads finished: total wc time = 0.374374
all threads finished: total boost cpu time = 0.37
具有 16 个线程的示例输出
starting 16 threads.
start thread: 0
start thread: 1
start thread: 2
start thread: 3
start thread: 4
start thread: 10
start thread: 5
start thread: 7
start thread: 6
start thread: 11
start thread: 8
start thread: 9
start thread: 13
start thread: 12
start thread: 14
start thread: 15
end thread: 1
boost cpu = 4.67 wc = 0.588818
end thread: 2
boost cpu = 5.29 wc = 0.66638
end thread: 0
boost cpu = 5.72 wc = 0.7206
end thread: 13
boost cpu = 5.82 wc = 0.728717
end thread: 11
boost cpu = 6.18 wc = 0.774979
end thread: 12
boost cpu = 6.17 wc = 0.773298
end thread: 6
boost cpu = 6.32 wc = 0.793143
end thread: 15
boost cpu = 6.12 wc = 0.767049
end thread: 4
boost cpu = 6.7 wc = 0.843377
end thread: 14
boost cpu = 6.74 wc = 0.84842
end thread: 3
boost cpu = 6.91 wc = 0.874065
end thread: 9
boost cpu = 6.83 wc = 0.86342
end thread: 5
boost cpu = 7 wc = 0.896873
end thread: 7
boost cpu = 7.05 wc = 0.917324
end thread: 10
boost cpu = 7.11 wc = 0.930335
end thread: 8
boost cpu = 7.03 wc = 0.940374
all threads finished: total wc time = 0.957748
all threads finished: total boost cpu time = 7.14
end.
解决方案
boost::timer 的文档没有提到任何关于每个线程测量的内容。幸运的是 boost::chrono 包含thread_clock,它在支持它的平台上给出每个线程的 CPU 使用率。它使用与 std::chrono 时钟相同的接口并测量线程挂钟。
在示例代码中添加以下行后:
// Includes section
#include <boost/chrono.hpp>
// XTimer
boost::chrono::thread_clock::time_point timestamp_thread_wc;
double thread_wc_time_val;
// XTimer::start()
timestamp_thread_wc = boost::chrono::thread_clock::now();
// XTimer::stop()
const auto ns_thread_wc = boost::chrono::thread_clock::now() - timestamp_thread_wc;
thread_wc_time_val = double(ns_thread_wc.count())/1e9;
// test_thread() just after for loop
sleep(1);
// test_thread() in bottom do -> while(0) loop
std::cout << "thread cpu = " << tt.thread_wc_time_val << std::endl;
-lboost_chrono
并使用附加选项进行编译,我得到:
starting 1 threads.
start thread: 0
end thread: 0
boost cpu = 0.16 wc = 1.16715
thread cpu = 0.166943
all threads finished: total wc time = 1.16754
all threads finished: total boost cpu time = 0.16
end.
和:
starting 2 threads.
start thread: 0
start thread: 1
end thread: 1
boost cpu = 0.28 wc = 1.14168
thread cpu = 0.141524
end thread: 0
boost cpu = 0.28 wc = 1.14417
thread cpu = 0.14401
all threads finished: total wc time = 1.14442
all threads finished: total boost cpu time = 0.28
end.
推荐阅读
- python - 我如何让机器人不仅考虑自己
- python - 为什么 selenium 只迭代 5 次而不是完成数据集
- python - 如何在 Python 中使用 urlparse 优雅而安全地从部件创建 URL
- powershell - 在 Powershell 中获取具有其他属性的文件哈希
- visual-c++ - 如何在 Visual Studio 中更改警告级别
- archunit - 是否存在一种使用 ArchUnit 验证任何方法都不会引发任何异常的方法?
- node.js - 在 node.js heroku 应用程序中将子 c 可执行文件作为子进程运行
- php - 我有一系列系列 ID,现在我想针对每个系列 ID 计算和显示季节 ID。这是正确的显示方式吗?
- lua - 使用 MoveMouseRelative 编辑 Fortnite 问题的 Lua 代码
- jquery - Oxygen 主题生成器中的自定义 Jquery 灯箱/模式问题