c++ - asio::async_write 在大容量流上同步非常困难
问题描述
我目前正在使用 Asio C++ 库并围绕它编写了一个客户端包装器。我最初的方法是非常基本的,只需要在一个方向上流。要求已经改变,我已经切换到使用所有异步调用。除了asio::async_write(...)
. 我使用了几种不同的方法,并且不可避免地遇到了每一种方法的僵局。
该应用程序连续地以大容量流式传输数据。我一直远离链,因为它们不会阻塞并且可能导致内存问题,尤其是在服务器处于重负载时。工作将备份,应用程序堆无限增长。
所以我创建了一个阻塞队列,只是为了找出在回调和/或阻塞事件中使用锁会导致未知行为的困难方式。
包装器是一个非常大的类,所以我将尝试解释我的当前状态,并希望得到一些好的建议:
- 我有一个
asio::steady_timer
按固定时间表运行的设备,可以将心跳消息直接推送到阻塞队列中。 - 专用于读取事件并将它们推送到阻塞队列的线程
- 一个专门用于消费阻塞队列的线程
例如,在我的队列中,我有一个queue::block()
并且queue::unblock()
只是条件变量/互斥锁的包装器。
std::thread consumer([this]() {
std::string message_buffer;
while (queue.pop(message_buffer)) {
queue.stage_block();
asio::async_write(*socket, asio::buffer(message_buffer), std::bind(&networking::handle_write, this, std::placeholders::_1, std::placeholders::_2));
queue.block();
}
});
void networking::handle_write(const std::error_code& error, size_t bytes_transferred) {
queue.unblock();
}
当套接字备份并且服务器由于当前负载而不再接受数据时,队列会填满并导致handle_write(...)
永远不会调用的死锁。
另一种方法完全消除了消费者线程并依赖于handle_write(...)
弹出队列。像这样:
void networking::write(const std::string& data) {
if (!queue.closed()) {
std::stringstream stream_buffer;
stream_buffer << data << std::endl;
spdlog::get("console")->debug("pushing to queue {}", queue.size());
queue.push(stream_buffer.str());
if (queue.size() == 1) {
spdlog::get("console")->debug("handle_write: {}", stream_buffer.str());
asio::async_write(*socket, asio::buffer(stream_buffer.str()), std::bind(&networking::handle_write, this, std::placeholders::_1, std::placeholders::_2));
}
}
}
void networking::handle_write(const std::error_code& error, size_t bytes_transferred) {
std::string message;
queue.pop(message);
if (!queue.closed() && !queue.empty()) {
std::string front = queue.front();
asio::async_write(*socket, asio::buffer(queue.front()), std::bind(&networking::handle_write, this, std::placeholders::_1, std::placeholders::_2));
}
}
这也导致了僵局,显然会导致其他比赛问题。当我禁用心跳回调时,我完全没有问题。但是,心跳是必需的。
我究竟做错了什么?什么是更好的方法?
解决方案
看来我所有的痛苦完全来自心跳。在我的异步写入操作的每个变体中禁用心跳似乎可以解决我的问题,所以这让我相信这可能是使用内置asio::async_wait(...)
和asio::steady_timer
.
Asio 在内部同步其工作,并在执行下一个作业之前等待作业完成。使用asio::async_wait(...)
来构建我的心跳功能是我的设计缺陷,因为它在等待待处理作业的同一线程上运行。当心跳等待时,它与 Asio 造成了僵局queue::push(...)
。这可以解释为什么asio::async_write(...)
在我的第一个示例中从未执行完成处理程序。
解决方案是将心跳放在自己的线程上,让它独立于 Asio 工作。我仍在使用我的阻塞队列来同步调用,asio::async_write(...)
但已经修改了我的消费者线程以使用std::future
and std::promise
。这将回调与我的消费者线程干净地同步。
std::thread networking::heartbeat_worker() {
return std::thread([&]() {
while (socket_opened) {
spdlog::get("console")->trace("heartbeat pending");
write(heartbeat_message);
spdlog::get("console")->trace("heartbeat sent");
std::unique_lock<std::mutex> lock(mutex);
socket_closed_event.wait_for(lock, std::chrono::milliseconds(heartbeat_interval), [&]() {
return !socket_opened;
});
}
spdlog::get("console")->trace("heartbeat thread exited gracefully");
});
}
推荐阅读
- angular - 使用 JEST 的角度测试 Subscription.unsubscribe()
- c++ - 如何为 Qt 应用程序实现“打开方式”?
- c# - .NET API POST 端点为完全相同的请求数据返回不一致的状态代码
- swift - 组合布局中的动态单元格宽度
- ios - 打开 UISheetPresentationController 时,如何保持下面的 ViewController 保持不变并且不缩小?
- python - 从 PDF 中提取和组织文本
- c# - 读取中止请求的正文 ASP.NET Core
- c# - 覆盖 WebApi OK 结果的 JSON 格式
- php - 从 mysql 数据库中选择过期日期为 date_time 和 epoch 格式的记录
- excel - Excel 自定义格式正/负数与千/百万/十亿 (K/M/B) 后缀