OpenCL矩阵乘法速度

OpenCL Matrix Multiplication Speed

本文关键字:速度 OpenCL      更新时间:2023-10-16

我写了一个小的OpenCL应用程序来计算两个矩阵的乘积。现在我注意到,如果矩阵的大小超过8192 x 8192,就会出现显著的性能下降(16384 x 16384的计算速度要慢80倍),甚至串行实现也要快5倍以上。下面是主机代码:

/*Make some includes and definitions here*/
#include "stdafx.h"
#include <CL/cl.hpp>
#include <vector>
#include <iostream>
#include "util.hpp" // utility library
#define __CL_ENABLE_EXCEPTIONS
#define ROWS (16384)    // ROWS of vectors a, b, and c
#define COLUMNS (16384)
/*~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~*/
#include "metrics.h"
/*Start main()*/
int main(void)
{
    int A;
    // Fill vectors X and Y with random float values
    float* h_x = new float[ROWS*COLUMNS];
    for (int i = 0; i < ROWS; ++i){
        for (int j = 0; j < COLUMNS; ++j){
            h_x[j + i*COLUMNS] = rand() / (float)RAND_MAX;;
        }
    }
    float* h_y = new float[ROWS*COLUMNS];
    for (int i = 0; i < ROWS; ++i){
        for (int j = 0; j < COLUMNS; ++j){
            h_y[j + i*COLUMNS] = rand() / (float)RAND_MAX;;
        }
    }
    float* h_s = new float[ROWS*COLUMNS];
    for (int i = 0; i < ROWS; ++i){
        for (int j = 0; j < COLUMNS; ++j){
            h_s[j + i*COLUMNS] = 0.0;
        }
    }
    /*~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~*/
    // Get all platforms (drivers)
    std::vector<cl::Platform> all_platforms;
    cl::Platform::get(&all_platforms);

    if (all_platforms.size() == 0){ // Check for issues
        std::cout << " No platforms found. Check OpenCL installation!n";
        exit(1);
    }
    cl::Platform default_platform = all_platforms[0];
    std::cout << "Using platform: " << default_platform.getInfo<CL_PLATFORM_NAME>() << "n";
    // Get default device of the default platform
    std::vector<cl::Device> all_devices;
    default_platform.getDevices(CL_DEVICE_TYPE_ALL, &all_devices);
    if (all_devices.size() == 0){ // Check for issues
        std::cout << " No devices found. Check OpenCL installation!n";
        exit(1);
    }
    cl::Device default_device = all_devices[0];
    std::cout << "Using device: " << default_device.getInfo<CL_DEVICE_NAME>() << "n";
    // Create an OpenCL context
    cl::Context context({ default_device });
    cl::Program program(context, util::loadProgram("saxy_kernel.cl"), true);
    if (program.build({ default_device }) != CL_SUCCESS){
        std::cout << " Error building: " << program.getBuildInfo<CL_PROGRAM_BUILD_LOG>(default_device) << "n";
        getchar();
        exit(1);
    }
    // create buffers on the device
    cl::Buffer buffer_X(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
    cl::Buffer buffer_Y(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
    cl::Buffer buffer_S(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
    cl::Buffer buffer_A(context, CL_MEM_READ_WRITE, sizeof(int));
    //create queue to which we will push commands for the device.
    cl::CommandQueue queue(context, default_device);
    //write arrays A and B to the device
    queue.enqueueWriteBuffer(buffer_X, CL_TRUE, 0, sizeof(float)* ROWS*COLUMNS, &h_x[0]);
    queue.enqueueWriteBuffer(buffer_Y, CL_TRUE, 0, sizeof(float)* ROWS*COLUMNS, &h_y[0]);
    queue.enqueueWriteBuffer(buffer_A, CL_TRUE, 0, sizeof(int), &A);
    StartCounter();
    //run the kernel
    cl::Kernel kernel_add = cl::Kernel(program, "simple_add");
    kernel_add.setArg(0, buffer_X);
    kernel_add.setArg(1, buffer_Y);
    kernel_add.setArg(2, buffer_S);
    kernel_add.setArg(3, buffer_A);
    cl::NDRange global(ROWS*COLUMNS);
    queue.enqueueNDRangeKernel(kernel_add, cl::NullRange, global, cl::NullRange);
    queue.finish();
    std::cout << "Kernel execution time: " << GetCounter() << "ms n";
    //read result C from the device to array C
    queue.enqueueReadBuffer(buffer_S, CL_TRUE, 0, sizeof(float)*ROWS*COLUMNS, &h_s[0]);

    /*Print vectors
    std::cout << "nMatrix #1: n";
    for (int i = 0; i<ROWS*COLUMNS; i++){

            std::cout << "" << h_x[i] << "t ";
    }
    std::cout << "nnMatrix #2: n";
    for (int i = 0; i<ROWS*COLUMNS; i++){

            std::cout << "" << h_y[i] << "t ";
    }
    std::cout << "nnResult: n";
    for (int i = 0; i<ROWS*COLUMNS; i++){

            std::cout << "" << h_s[i] << "t ";
    }*/
    getchar();
    return 0;
}

内核:

__kernel void kernel simple_add(
   __global float* X, 
   __global float* Y, 
   __global float* S, 
   __global int *A){
   S[get_global_id(0)] = X[get_global_id(0)] * Y[get_global_id(0)];
}
你能给我解释一下原因吗?我知道如果我执行一些算法优化,我可以获得更好的性能,但我试图弄清楚这是"幼稚"实现的阈值,还是我做错了什么(不正确地将工作分配给组)。

EDIT:因为我在评论中被问到,我正在运行内核的GPU是AMD R9 270/2GB RAM。CPU为i7-4771,内存为8GB。

写一个关于"如何在每个线程做更多的计算"的答案,因为代码格式化在注释中是不存在的,并且还涵盖了一点内存使用…

因此,大多数OpenCL实现需要在每个线程(以及正确数量的线程)上运行多个指令才能获得有效的性能。但就像我在评论中说的,这高度依赖于处理单元的实际架构(GPU, CPU,或由独角兽毛编织而成的具有opencl功能的神奇单元,无论它可能是什么)-每个GPU, CPU和独角兽编织者的制造商都有自己的想法,如何制作一个非常高效的单元,他们都倾向于随着时间的推移而改变他们的想法…;)

要在一个线程中做更多的工作,您可以简单地执行:

#define NUM_PER_THREAD 16
__kernel void kernel simple_add(
 __global float* X, 
 __global float* Y, 
 __global float* S, 
 __global int *A)
{
   for(i = 0; i < NUM_PER_THREAD; i++)
   {
      size_t index = get_global_id(0)*NUM_PER_THREAD + i;
      S[index] = X[index] * Y[index];
   }
}

[这将做1 x 16块。如果你知道矩阵的大小(宽度)[/p>

关于内存:GPU的专用本地内存(换句话说,大多数显卡)将工作得更快,如果所有的数据适合在图形内存。访问"主"内存涉及两种方法之一:

  1. 当GPU通过PCI-express总线读取[或使用的任何基础设施]时,每个缓存行的长访问时间-这可能比"本地"内存慢100或1000倍。并且GPU也(很可能)必须询问CPU内存内容是否在缓存中,如果是,则进一步等待CPU将数据复制到主存…
  2. "page in/out",其中GPU停止,向CPU发送中断,CPU会找到一些合适的块(块在这里指的是"一些内存,很可能在4K左右或其倍数")来从GPU中"移除"内存内存,并将其复制到主存,然后复制到需要其他内存块到GPU内存-类似于当操作系统与硬盘交换内存时。如果你不走运,GPU还必须做一些有趣的缓存或TLB刷新,以确保使用正确的数据。

请注意,我仍然(在过去的一个小时左右)没有得到任何特别的洞察AMD/ATI GPU的工作方式,或者他们的OpenCL驱动程序是如何工作的。以上是猜测/了解gpu的一般工作方式,了解OpenCL的一般工作方式,并使用float计算存储16K x 16K的三个不同数组所需的内存。