如何从xKinect视频中去除像素噪声

我正在寻找一些帮助，了解如何从视频中去除一些低质量像素噪声，这是我通过开放框架从xbox kinect获得的。我正在针对图像的"移动"部分运行逻辑，以确定什么颜色移动得最多，并使用这些区域来检测这些像素移动的深度。我附上一张照片，试图更好地解释我的问题。

http://imago.bryanmoyles.com/xxw80

当然，我知道会有人要求我提供代码，所以我会发布到目前为止我所拥有的，但我最想要的是一个使用C++平滑照片中像素化区域的好算法

for(int y = 0; y < kinect.height; y += grid_size) {
    for(int x = 0; x < kinect.width * 3; x += 3 * grid_size) {
        unsigned int total_r = 0, total_b = 0, total_g = 0;
        for(int r = 0; r < grid_size; r++) { 
            for(int c = 0; c < grid_size; c++) {
                total_r += color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 0)];
                total_b += color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 1)];
                total_g += color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 2)];
            }
        }
        unsigned char average_r = total_r / (grid_size * grid_size), 
            average_b = total_b / (grid_size * grid_size), 
            average_g = total_g / (grid_size * grid_size);
        for(int r = 0; r < grid_size; r++) { 
            for(int c = 0; c < grid_size; c++) {
                color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 0)] = average_r;
                color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 1)] = average_b;
                color_pixels[(y * kinect.width * 3 + r * kinect.width * 3) + (c * 3 + x + 2)] = average_g;
            }
        }
    }
}
for(int y = 0; y < kinect.height; y++) {
    for (int x = 0; x < kinect.width * 3; x += 3) {
        int total_difference = abs(color_pixels[y * kinect.width * 3 + x + 0] - rgb[0])
            + abs(color_pixels[y * kinect.width * 3 + x + 1] - rgb[1])
            + abs(color_pixels[y * kinect.width * 3 + x + 2] - rgb[2]);
        unsigned char defined_color;
        if(total_difference < 40) {
            defined_color = (unsigned char) 255;
        } else {
            defined_color = (unsigned char) 0;
        }
        color_pixels[y * kinect.width * 3 + x + 0] = defined_color;
        color_pixels[y * kinect.width * 3 + x + 1] = defined_color;
        color_pixels[y * kinect.width * 3 + x + 2] = defined_color;
    }
}

我想再次重申，我的代码不是问题所在，我只是把它发布在这里，让你明白我不是在盲目地问。我真正需要的是一些关于如何平滑像素化图像的指导，这样我的平均值就不会因为质量差而一帧一帧地被打乱。