时间戳

首页 > 解决方案 > 取消来自辅助线程的请求以强制 MPI_Wait 返回

c++ - 取消来自辅助线程的请求以强制 MPI_Wait 返回

问题描述

我正在尝试取消以MPI_Irecv. 在一个线程中，我有一个循环，通过连续调用MPI_Irecvand来持续监听请求MPI_Wait。为了干净地退出循环，我想取消请求，例如MPI_Cancel从另一个线程调用。

据我了解，MPI_Cancel标记取消的通信是，并引用规范：

如果通信被标记为取消，则MPI_WAIT保证返回对该通信的调用。

下面的代码表明这不能按我的意图工作，因为MPI_WAIT永远不会返回 - 在 Windows 上使用最近的 MS-MPI 和 Linux 上的 MPICH2 进行测试。

#include <mpi.h>

#include <iostream>
#include <future>


using namespace std::literals::chrono_literals;

void async_cancel(MPI_Request *request)
{
    std::this_thread::sleep_for(1s);

    std::cout << "Before MPI_Cancel" << std::endl;

    int res = MPI_Cancel(request);
    if (res != MPI_SUCCESS)
        std::cerr << "MPI_Cancel failed" << std::endl;

    std::cout << "After MPI_Cancel" << std::endl;
}


int main(int argc, char* argv[])
{
    int provided;
    MPI_Init_thread(&argc, &argv, MPI_THREAD_MULTIPLE, &provided);

    if (provided != MPI_THREAD_MULTIPLE)
        std::cout << "MPI_Init_thread could not provide MPI_THREAD_MULTIPLE" << std::endl;

    int rank, numprocs;
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);


    MPI_Request request;
    MPI_Status status;

    int buffer;

    if (rank == 0)
    {
        MPI_Irecv(&buffer, 1, MPI_INT, 1, 123, MPI_COMM_WORLD, &request);

        auto res = std::async(std::launch::async, &async_cancel, &request);

        std::cout << "Before MPI_Wait" << std::endl;

        MPI_Wait(&request, &status);

        std::cout << "After MPI_Wait " << std::endl;
    }
    else
        std::this_thread::sleep_for(2s);

    MPI_Finalize();

    return 0;
}

这是一个实施问题吗？有没有更好的方法强制MPI_Wait返回？

编辑：代码（使用@Zulan 和@amlucas 注释更新）实际上适用于大多数实现，但 MS-MPI。

标签： c++mpi

解决方案

首先，您需要确保正确线程化 MPI，例如通过替换MPI_Init为

int thread_level;
MPI_Init_thread(&argc, &argv, MPI_THREAD_MULTIPLE, &thread_level);
if (thread_level != MPI_THREAD_MULTIPLE)
{
    std::cout << "Invalid thread level " << thread_level << "\n";
    return -1;
}

每当您想同时调用任何 MPI 函数时，这都是必需的。对我来说，这适用于 OpenMPI 4.0.1 或 Intel MPI 2019.0.0。但是，您还需要删除 ，因为它与也清理请求MPI_Request_free是多余的。MPI_Wait

现在，虽然这似乎可行，并且 MPI 对同时调用具有相同请求的 MPI 函数没有任何限制。但是，我不会说标准的措辞明确允许您的特定用例 - 即使是这样，在实现中似乎很容易出错。

如果您遇到问题，您可以考虑使用MPI_Test循环 - 以延迟和能耗为代价。另一种选择是虚拟接收请求和MPI_Waitany. MPI_Cancel然后，您发送一条与虚拟请求匹配的消息，而不是。

推荐阅读