diff --git a/Src/Extern/HYPRE/AMReX_HypreABecLap.cpp b/Src/Extern/HYPRE/AMReX_HypreABecLap.cpp index 4607fcc1fc..2d4c313c08 100644 --- a/Src/Extern/HYPRE/AMReX_HypreABecLap.cpp +++ b/Src/Extern/HYPRE/AMReX_HypreABecLap.cpp @@ -115,7 +115,7 @@ HypreABecLap::getSolution (MultiFab& a_soln) auto reghi = Hypre::hiV(reg); HYPRE_StructVectorGetBoxValues(x, reglo.data(), reghi.data(), (*soln)[mfi].dataPtr()); } - Gpu::synchronize(); + Gpu::hypreSynchronize(); if (a_soln.nGrowVect() != 0) { MultiFab::Copy(a_soln, tmp, 0, 0, 1, 0); @@ -235,7 +235,7 @@ HypreABecLap::prepareSolver () HYPRE_StructMatrixSetBoxValues(A, reglo.data(), reghi.data(), regular_stencil_size, stencil_indices.data(), mat); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } HYPRE_StructMatrixAssemble(A); @@ -299,7 +299,7 @@ HypreABecLap::loadVectors (MultiFab& soln, const MultiFab& rhs) HYPRE_StructVectorSetBoxValues(x, reglo.data(), reghi.data(), soln[mfi].dataPtr()); HYPRE_StructVectorSetBoxValues(b, reglo.data(), reghi.data(), rhs_diag[mfi].dataPtr()); } - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } diff --git a/Src/Extern/HYPRE/AMReX_HypreABecLap2.cpp b/Src/Extern/HYPRE/AMReX_HypreABecLap2.cpp index 1b7ba8e895..a44d2d517e 100644 --- a/Src/Extern/HYPRE/AMReX_HypreABecLap2.cpp +++ b/Src/Extern/HYPRE/AMReX_HypreABecLap2.cpp @@ -137,7 +137,7 @@ HypreABecLap2::getSolution (MultiFab& a_soln) HYPRE_SStructVectorGetBoxValues(x, part, reglo.data(), reghi.data(), 0, (*soln)[mfi].dataPtr()); } - Gpu::synchronize(); + Gpu::hypreSynchronize(); if (a_soln.nGrowVect() != 0) { MultiFab::Copy(a_soln, tmp, 0, 0, 1, 0); @@ -262,7 +262,7 @@ HypreABecLap2::prepareSolver () HYPRE_SStructMatrixSetBoxValues(A, part, reglo.data(), reghi.data(), 0, regular_stencil_size, stencil_indices.data(), mat); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } HYPRE_SStructMatrixAssemble(A); @@ -335,7 +335,7 @@ HypreABecLap2::loadVectors (MultiFab& soln, const MultiFab& rhs) HYPRE_SStructVectorSetBoxValues(b, part, reglo.data(), reghi.data(), 0, rhs_diag[mfi].dataPtr()); } - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } diff --git a/Src/Extern/HYPRE/AMReX_HypreABecLap3.cpp b/Src/Extern/HYPRE/AMReX_HypreABecLap3.cpp index d04b85c314..216cf368f5 100644 --- a/Src/Extern/HYPRE/AMReX_HypreABecLap3.cpp +++ b/Src/Extern/HYPRE/AMReX_HypreABecLap3.cpp @@ -77,7 +77,7 @@ HypreABecLap3::getSolution (MultiFab& a_soln) (*l_soln)[mfi].setVal(0.0); } } - Gpu::synchronize(); + Gpu::hypreSynchronize(); if (use_tmp_mf) { MultiFab::Copy(a_soln, tmp, 0, 0, 1, 0); @@ -499,9 +499,9 @@ HypreABecLap3::prepareSolver () }); } - Gpu::synchronize(); + Gpu::streamSynchronize(); HYPRE_IJMatrixSetValues(A,nrows,ncols,rows,cols,mat); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } HYPRE_IJMatrixAssemble(A); @@ -681,7 +681,7 @@ HypreABecLap3::loadVectors (MultiFab& soln, const MultiFab& rhs) HYPRE_IJVectorSetValues(b, nrows, cell_id_vec[mfi].dataPtr(), rhs_diag[mfi].dataPtr()); } } - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } // namespace amrex diff --git a/Src/Extern/HYPRE/AMReX_HypreNodeLap.cpp b/Src/Extern/HYPRE/AMReX_HypreNodeLap.cpp index bb4bc557ca..33e45ca066 100644 --- a/Src/Extern/HYPRE/AMReX_HypreNodeLap.cpp +++ b/Src/Extern/HYPRE/AMReX_HypreNodeLap.cpp @@ -123,9 +123,9 @@ HypreNodeLap::HypreNodeLap (const BoxArray& grids_, const DistributionMapping& d adjust_singular_matrix(ncols, cols, rows, mat); } - Gpu::synchronize(); + Gpu::streamSynchronize(); HYPRE_IJMatrixSetValues(A, nrows, ncols, rows, cols, mat); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } HYPRE_IJMatrixAssemble(A); @@ -324,9 +324,9 @@ HypreNodeLap::loadVectors (MultiFab& soln, const MultiFab& rhs) }); } - Gpu::synchronize(); + Gpu::streamSynchronize(); HYPRE_IJVectorSetValues(b, nrows, rows_vec.data(), bvec.data()); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } } @@ -347,7 +347,7 @@ HypreNodeLap::getSolution (MultiFab& soln) xvec.resize(nrows); Real* xp = xvec.data(); HYPRE_IJVectorGetValues(x, nrows, rows_vec.data(), xp); - Gpu::synchronize(); + Gpu::hypreSynchronize(); const Box& bx = mfi.validbox(); const auto& xfab = tmpsoln.array(mfi); @@ -359,7 +359,7 @@ HypreNodeLap::getSolution (MultiFab& soln) } }); - Gpu::synchronize(); + Gpu::streamSynchronize(); } } diff --git a/Src/Extern/HYPRE/AMReX_HypreSolver.H b/Src/Extern/HYPRE/AMReX_HypreSolver.H index 8f34b72f2d..fb70c90bbb 100644 --- a/Src/Extern/HYPRE/AMReX_HypreSolver.H +++ b/Src/Extern/HYPRE/AMReX_HypreSolver.H @@ -569,7 +569,7 @@ HypreSolver::fill_matrix (Filler const& filler) Gpu::streamSynchronize(); HYPRE_IJMatrixSetValues(m_A, nrows, ncols_vec.data(), rows, cols_vec.data(), mat_vec.data()); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } HYPRE_IJMatrixAssemble(m_A); @@ -653,7 +653,7 @@ HypreSolver::load_vectors (Vector const& a_soln, Gpu::streamSynchronize(); HYPRE_IJVectorSetValues(m_x, nrows, rows, xp); HYPRE_IJVectorSetValues(m_b, nrows, rows, bp); - Gpu::synchronize(); + Gpu::hypreSynchronize(); } } } @@ -683,7 +683,7 @@ HypreSolver::get_solution (Vector const& a_soln) HYPRE_Int const* rows = m_global_id_vec[mfi].data(); HYPRE_IJVectorGetValues(m_x, nrows, rows, xp); - Gpu::synchronize(); + Gpu::hypreSynchronize(); HYPRE_Int offset = 0; for (int ivar = 0; ivar < m_nvars; ++ivar) {