OpenCL矩阵乘法速度
OpenCL Matrix Multiplication Speed
我写了一个小的OpenCL应用程序来计算两个矩阵的乘积。现在我注意到,如果矩阵的大小超过8192 x 8192,就会出现显著的性能下降(16384 x 16384的计算速度要慢80倍),甚至串行实现也要快5倍以上。下面是主机代码:
/*Make some includes and definitions here*/
#include "stdafx.h"
#include <CL/cl.hpp>
#include <vector>
#include <iostream>
#include "util.hpp" // utility library
#define __CL_ENABLE_EXCEPTIONS
#define ROWS (16384) // ROWS of vectors a, b, and c
#define COLUMNS (16384)
/*~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~*/
#include "metrics.h"
/*Start main()*/
int main(void)
{
int A;
// Fill vectors X and Y with random float values
float* h_x = new float[ROWS*COLUMNS];
for (int i = 0; i < ROWS; ++i){
for (int j = 0; j < COLUMNS; ++j){
h_x[j + i*COLUMNS] = rand() / (float)RAND_MAX;;
}
}
float* h_y = new float[ROWS*COLUMNS];
for (int i = 0; i < ROWS; ++i){
for (int j = 0; j < COLUMNS; ++j){
h_y[j + i*COLUMNS] = rand() / (float)RAND_MAX;;
}
}
float* h_s = new float[ROWS*COLUMNS];
for (int i = 0; i < ROWS; ++i){
for (int j = 0; j < COLUMNS; ++j){
h_s[j + i*COLUMNS] = 0.0;
}
}
/*~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~*/
// Get all platforms (drivers)
std::vector<cl::Platform> all_platforms;
cl::Platform::get(&all_platforms);
if (all_platforms.size() == 0){ // Check for issues
std::cout << " No platforms found. Check OpenCL installation!n";
exit(1);
}
cl::Platform default_platform = all_platforms[0];
std::cout << "Using platform: " << default_platform.getInfo<CL_PLATFORM_NAME>() << "n";
// Get default device of the default platform
std::vector<cl::Device> all_devices;
default_platform.getDevices(CL_DEVICE_TYPE_ALL, &all_devices);
if (all_devices.size() == 0){ // Check for issues
std::cout << " No devices found. Check OpenCL installation!n";
exit(1);
}
cl::Device default_device = all_devices[0];
std::cout << "Using device: " << default_device.getInfo<CL_DEVICE_NAME>() << "n";
// Create an OpenCL context
cl::Context context({ default_device });
cl::Program program(context, util::loadProgram("saxy_kernel.cl"), true);
if (program.build({ default_device }) != CL_SUCCESS){
std::cout << " Error building: " << program.getBuildInfo<CL_PROGRAM_BUILD_LOG>(default_device) << "n";
getchar();
exit(1);
}
// create buffers on the device
cl::Buffer buffer_X(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
cl::Buffer buffer_Y(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
cl::Buffer buffer_S(context, CL_MEM_READ_WRITE, sizeof(float)* ROWS*COLUMNS);
cl::Buffer buffer_A(context, CL_MEM_READ_WRITE, sizeof(int));
//create queue to which we will push commands for the device.
cl::CommandQueue queue(context, default_device);
//write arrays A and B to the device
queue.enqueueWriteBuffer(buffer_X, CL_TRUE, 0, sizeof(float)* ROWS*COLUMNS, &h_x[0]);
queue.enqueueWriteBuffer(buffer_Y, CL_TRUE, 0, sizeof(float)* ROWS*COLUMNS, &h_y[0]);
queue.enqueueWriteBuffer(buffer_A, CL_TRUE, 0, sizeof(int), &A);
StartCounter();
//run the kernel
cl::Kernel kernel_add = cl::Kernel(program, "simple_add");
kernel_add.setArg(0, buffer_X);
kernel_add.setArg(1, buffer_Y);
kernel_add.setArg(2, buffer_S);
kernel_add.setArg(3, buffer_A);
cl::NDRange global(ROWS*COLUMNS);
queue.enqueueNDRangeKernel(kernel_add, cl::NullRange, global, cl::NullRange);
queue.finish();
std::cout << "Kernel execution time: " << GetCounter() << "ms n";
//read result C from the device to array C
queue.enqueueReadBuffer(buffer_S, CL_TRUE, 0, sizeof(float)*ROWS*COLUMNS, &h_s[0]);
/*Print vectors
std::cout << "nMatrix #1: n";
for (int i = 0; i<ROWS*COLUMNS; i++){
std::cout << "" << h_x[i] << "t ";
}
std::cout << "nnMatrix #2: n";
for (int i = 0; i<ROWS*COLUMNS; i++){
std::cout << "" << h_y[i] << "t ";
}
std::cout << "nnResult: n";
for (int i = 0; i<ROWS*COLUMNS; i++){
std::cout << "" << h_s[i] << "t ";
}*/
getchar();
return 0;
}
内核:
__kernel void kernel simple_add(
__global float* X,
__global float* Y,
__global float* S,
__global int *A){
S[get_global_id(0)] = X[get_global_id(0)] * Y[get_global_id(0)];
}
你能给我解释一下原因吗?我知道如果我执行一些算法优化,我可以获得更好的性能,但我试图弄清楚这是"幼稚"实现的阈值,还是我做错了什么(不正确地将工作分配给组)。
EDIT:因为我在评论中被问到,我正在运行内核的GPU是AMD R9 270/2GB RAM。CPU为i7-4771,内存为8GB。
写一个关于"如何在每个线程做更多的计算"的答案,因为代码格式化在注释中是不存在的,并且还涵盖了一点内存使用…
因此,大多数OpenCL实现需要在每个线程(以及正确数量的线程)上运行多个指令才能获得有效的性能。但就像我在评论中说的,这高度依赖于处理单元的实际架构(GPU, CPU,或由独角兽毛编织而成的具有opencl功能的神奇单元,无论它可能是什么)-每个GPU, CPU和独角兽编织者的制造商都有自己的想法,如何制作一个非常高效的单元,他们都倾向于随着时间的推移而改变他们的想法…;)
要在一个线程中做更多的工作,您可以简单地执行:
#define NUM_PER_THREAD 16
__kernel void kernel simple_add(
__global float* X,
__global float* Y,
__global float* S,
__global int *A)
{
for(i = 0; i < NUM_PER_THREAD; i++)
{
size_t index = get_global_id(0)*NUM_PER_THREAD + i;
S[index] = X[index] * Y[index];
}
}
[这将做1 x 16块。如果你知道矩阵的大小(宽度)[/p>
关于内存:GPU的专用本地内存(换句话说,大多数显卡)将工作得更快,如果所有的数据适合在图形内存。访问"主"内存涉及两种方法之一:
- 当GPU通过PCI-express总线读取[或使用的任何基础设施]时,每个缓存行的长访问时间-这可能比"本地"内存慢100或1000倍。并且GPU也(很可能)必须询问CPU内存内容是否在缓存中,如果是,则进一步等待CPU将数据复制到主存…
- "page in/out",其中GPU停止,向CPU发送中断,CPU会找到一些合适的块(块在这里指的是"一些内存,很可能在4K左右或其倍数")来从GPU中"移除"内存内存,并将其复制到主存,然后复制到需要其他内存块到GPU内存-类似于当操作系统与硬盘交换内存时。如果你不走运,GPU还必须做一些有趣的缓存或TLB刷新,以确保使用正确的数据。
请注意,我仍然(在过去的一个小时左右)没有得到任何特别的洞察AMD/ATI GPU的工作方式,或者他们的OpenCL驱动程序是如何工作的。以上是猜测/了解gpu的一般工作方式,了解OpenCL的一般工作方式,并使用float
计算存储16K x 16K的三个不同数组所需的内存。
相关文章:
- 使用std::vector的OpenCL矩阵乘法
- 为什么在读取文件大小时文件IO速度会发生变化
- 为什么std::condition_variable notify_all的工作速度比notify_one快(对于随机请
- 文件系统:复制功能的速度秘诀是什么
- 学习多线程C++:添加线程不会使执行速度更快,即使它看起来应该
- 在C++中使用并行化的预期速度是多少(不是 OpenMp,而是 <thread>)
- 两个连续的 OpenMP 并行区域会相互减慢速度
- 查找标准::hash_map与标准::矢量的速度
- 加快在C++中读取/处理日志文件的速度
- OpenCL 内核参数中的字符***?
- 为什么这些算法的运行速度比它们应该的要快?
- 如何提高文件的读取速度?
- 通过libpqxx提高PostgreSQL数据库的更新速度
- 使用 IMFSinkWriter 编码的视频的播放速度会根据宽度而变化
- 计算车辆之间的距离并设置速度,使距离保持不变,例如 5 米
- 如何准确测量和比较opencl速度以实现循环功能的简单速度
- 我的OpenCL测试的运行速度不超过CPU
- OpenCL 速度和浮点精度
- OpenCL矩阵乘法速度
- OpenCL示例程序在CPU上的执行速度是在GPU上的10倍