parallel-processing - 带有 Fortran 的 OpenMP FFTW 不是线程安全的
问题描述
我正在尝试将 FFTW 与 openMP 和 Fortran 一起使用,但是在并行执行时会得到错误的结果,这也会在每个执行步骤中改变它们的值,当并行化出错时会显示典型的行为。
我的目标是进行简单的 3d 实到复杂转换。按照 FFTW 教程,除了调用之外,我把所有的调用都dfftw_execute_dft_r2c()
带出了并行区域,但它似乎不起作用。
我使用 FFTW 3.3.8,配置./configure --enable-threads --enable-openmp --enable-mpi
和编译我的代码gfortran program.f03 -o program.o -I/usr/include -fopenmp -lfftw3_omp -lfftw3 -g -Wall
。
这就是我的程序的样子:
program use_fftw
use,intrinsic :: iso_c_binding
use omp_lib
implicit none
include 'fftw3.f03'
integer, parameter :: dp=kind(1.0d0)
integer, parameter :: Nx = 10
integer, parameter :: Ny = 5
integer, parameter :: Nz = 5
real(dp), parameter :: pi = 3.1415926d0
real(dp), parameter :: physical_length_x = 20.d0
real(dp), parameter :: physical_length_y = 10.d0
real(dp), parameter :: physical_length_z = 10.d0
real(dp), parameter :: lambda1 = 0.5d0
real(dp), parameter :: lambda2 = 0.7d0
real(dp), parameter :: lambda3 = 0.9d0
real(dp), parameter :: dx = physical_length_x/real(Nx,dp)
real(dp), parameter :: dy = physical_length_y/real(Ny,dp)
real(dp), parameter :: dz = physical_length_z/real(Nz,dp)
integer :: void, nthreads
integer :: i, j, k
real(dp):: d
complex(dp), allocatable, dimension(:,:,:) :: arr_out
real(dp), allocatable, dimension(:,:,:) :: arr_in
integer*8 :: plan_forward
allocate(arr_in( 1:Nx, 1:Ny, 1:Nz)); arr_in = 0
allocate(arr_out(1:Nx/2+1, 1:Ny, 1:Nz)); arr_out = 0
!------------------------------
! Initialize fftw stuff
!------------------------------
! Call before any FFTW routine is called outside of parallel region
void = fftw_init_threads()
if (void==0) then
write(*,*) "Error in fftw_init_threads, quitting"
stop
endif
nthreads = omp_get_num_threads()
call fftw_plan_with_nthreads(nthreads)
! plan execution is thread-safe, but plan creation and destruction are not:
! you should create/destroy plans only from a single thread
call dfftw_plan_dft_r2c_3d(plan_forward, Nx, Ny, Nz, arr_in, arr_out, FFTW_ESTIMATE)
!--------------------------------
! Start parallel region
!--------------------------------
!$OMP PARALLEL PRIVATE( j, k, d)
! Fill array with wave
! NOTE: wave only depends on x so you can plot it later.
!$OMP DO
do i = 1, Nx
d = 2.0*pi*i*dx
do j = 1, Ny
do k = 1, Nz
arr_in(i,j,k) = cos(d/lambda1)+sin(d/lambda2)+cos(d/lambda3)
enddo
enddo
enddo
!$OMP END DO
call dfftw_execute_dft_r2c(plan_forward, arr_in, arr_out)
!$OMP END PARALLEL
!-----------------
! print results
!-----------------
do i=1, Nx/2+1
do j=1, Ny
do k=1, Nz
write(*,'(F12.6,A3,F12.6,A3)',advance='no') real(arr_out(i,j,k)), " , ", aimag(arr_out(i,j,k)), " ||"
enddo
write(*,*)
enddo
write(*,*)
enddo
deallocate(arr_in, arr_out)
! destroy plans is not thread-safe; do only with single
call dfftw_destroy_plan(plan_forward)
end program use_fftw
我还尝试将 FFTW ( 的初始化部分 ( ) 移动void = fftw_init_threads(); call fftw_plan_with_nthreads(nthreads); call dfftw_plan_dft_r2c_3d(...)
到并行区域,使用!$OMP SINGLE
块并随后与屏障同步,但情况并没有改善。
谁能帮我?
编辑:我能够在另一个系统上测试我的程序,问题仍然存在。所以问题显然不在于我对 openmp 或 FFTW 的实现,而在于程序本身的某个地方。
解决方案
您通常应该在区域外parallel
调用 fftw 执行例程。它们内部有自己的并行区域,它们将按照您在计划期间要求的那么多线程并行运行转换。他们将重用您现有的 OpenMP 线程。
您也可以在并行区域内调用它们,但在不同的阵列上,而不是在同一个阵列上!然后你的计划应该计划使用 1 个线程。例如,每个线程将执行数组切片的 2D 变换。
线程安全意味着您可以同时调用例程,但每个例程用于不同的数据。
推荐阅读
- javascript - 将动态数据设置为径向量规
- visual-studio-code - 更新到 catlina 和 mojave 后,流服务器和 vscode 流扩展中断
- graph-databases - 如何确保我的数据导入 Nebula Graph 成功?
- javascript - NextJS 中动态路由的命名页面
- docker - 如何在 IBM Cloud Kubernetes 服务上部署 https://github.com/docker/compose-on-kubernetes?
- r - 如何根据 R 中的另一个现有表得出百分位数
- php - 在 Symfony 4 中为 ORM 实体动态设置模式
- android - 电容器 - 为 cors 设置原点
- dask - 使用 C 指针时的 Dask 与多处理
- swift - 有没有办法改变领域数据库中的数据类型?