我是CUDA的新手，对内存类型以及如何正确使用它们感到困惑。
我想做的很简单。我有一个二维数组data，其中N是4096。
设i,j为当前元素。我需要访问它所有的邻居：(i + m, j + n)，其中m和n是[-1, 0, 1]中的任一个。对于i = 0，i-1变为N-1。j = 0（周期性边界条件）也是如此。
1.我用这些邻居做了一些计算：

data[i][j] = data[i][j] + a * data[i+1][j] + b * data[i+1][j+1] + ...

1.然后，我需要等待所有其他N * N - 1线程完成这些计算并同步data数组。
1.我迭代了k次。

• • 我不确定是应该在内核内部还是外部迭代，因为我不知道它对内存有什么影响。

按照我的理解，我的内核应该是这样的：

__global__ void my_kernel(float* data, int rows, int cols)
{
    int i = (blockIdx.y * blockDim.y + threadIdx.y) % rows; 
    int j = (blockIdx.x * blockDim.x + threadIdx.x) % cols; 
    
    i = (i >= 0) ? i : rows + i;
    j = (j >= 0) ? j : cols + j;

    int t = i * sizeof(float) + j;
    
    for(int m = -1; m <= 1; m ++) 
    {
        for(int n = -1; n <= 1; n ++) 
        {
            if(m != 0 || n != 0) 
            {
                int s = (i + m) * sizeof(float) + (j + n);
                data[t] += data[s]/2;  // just an example 
            }
        }
    }   
}
    
...

int k = 1000;
int rows = 4096;
int cols = 4096;

dim3 block(8,8);
dim3 grid ( (cols + block.x -1)/block.x, (rows + block.y -1)/block.y );

for(int i = 0; i < k; i++) {
    my_kernel<<<grid, block>>>(reinterpret_cast<float*>(mat.data), rows, cols );
}

我不明白的是这里的记忆是怎么工作的。这是否意味着data数组会留在全局内存中，并在每个线程中从内核访问？据我所知，它相对较慢，我需要它尽可能快地计算。
同时，共享内存被限制为每个块48KB，data数组不适合，因为它的大小是64mb（4 * 4096 * 4096字节）。除此之外，它会将计算限制在单个块。
不过，我实际上并不需要在每个线程中使用整个data数组。我只需要9个元素。我的直觉告诉我，它应该在不访问全局记忆的情况下工作。这可能吗？有道理吗？如果是这样，我该怎么做？