同步嵌套内核的深度

让我们在有父内核和子内核的地方采用以下代码。从上述父内核开始，我们希望在不同的流中启动threadIdx.x子内核，以最大化并行吞吐量。然后，我们等待那些具有cudaDeviceSynchronize()的子内核，因为父内核需要查看对global内存所做的更改。

现在假设我们也希望使用流启动n父内核，并且在我们希望并行启动的每组n父内核之间，我们还必须使用cudaDeviceSynchronize()等待结果

这将如何表现？

从 Nvidia 对动态并行性的官方介绍中，我认为parent kernel[0]只会等待其中的流启动。 这是对的吗？如果没有，会发生什么？

注意：我知道一次只能运行这么多流(在我的情况下为 32 个(，但这更多的是为了最大限度地提高占用率

编辑：一个小代码示例

__global__ void child_kernel (void) {}
__global__ void parent_kernel (void) 
{
if (blockIdx.x == 0)
{
cudaStream_t s;
cudaStreamCreateWithFlags(&s, cudaStreamNonBlocking);
child_kernel <<<1,10,0,s>>> ();
cudaStreamDestroy(s);
}
cudaDeviceSynchronize();
}
for (int i=0; i<10; i++)
{
cudaStream_t s;
cudaStreamCreateWithFlags(&s, cudaStreamNonBlocking);
parent_kernel <<<10,10,0,s>>> ();
cudaStreamDestroy(s);
}
cudaDeviceSynchronize();