从C到Neon的双线性插值

Bilinear Interpolation from C to Neon

本文关键字：双线性 插值 Neon      更新时间：2023-10-16

我正在尝试使用Neon下载图像。所以我试着通过写一个用霓虹灯减去两幅图像的函数来练习霓虹灯，我成功了。现在我回过头来写双线性插值用的是霓虹灯函数。现在我有两个问题，从一行和一列获得4个像素，并从4个像素计算插值值(灰色)，或者如果可能的话，从一行和一列的8个像素。我试着思考一下，但我认为算法应该重写吗?

void resizeBilinearNeon( uint8_t *src, uint8_t *dest,  float srcWidth,  float srcHeight,  float destWidth,  float destHeight)
{
    int A, B, C, D, x, y, index;
       float x_ratio = ((float)(srcWidth-1))/destWidth ;
       float y_ratio = ((float)(srcHeight-1))/destHeight ;
       float x_diff, y_diff;
       for (int i=0;i<destHeight;i++) {
          for (int j=0;j<destWidth;j++) {
               x = (int)(x_ratio * j) ;
               y = (int)(y_ratio * i) ;
               x_diff = (x_ratio * j) - x ;
               y_diff = (y_ratio * i) - y ;
               index = y*srcWidth+x ;
               uint8x8_t pixels_r = vld1_u8 (src[index]);
               uint8x8_t pixels_c = vld1_u8 (src[index+srcWidth]);
               // Y = A(1-w)(1-h) + B(w)(1-h) + C(h)(1-w) + Dwh
               gray = (int)(
                           pixels_r[0]*(1-x_diff)*(1-y_diff) +  pixels_r[1]*(x_diff)*(1-y_diff) +
                           pixels_c[0]*(y_diff)*(1-x_diff)   +  pixels_c[1]*(x_diff*y_diff)
                           ) ;
               dest[i*w2 + j] = gray ;
           }
  }

Neon绝对可以使用双线性滤波以任意比例降低采样。关键在于巧妙地使用虚拟现实。8指令，能够对预加载数组中的8个连续目标像素执行并行查找表:

 d0 = a [b] c [d] e [f]  g  h, d1 =  i  j  k  l  m  n  o  p 
 d2 = q  r  s  t  u  v  [w] x, d3 = [y] z [A] B [C][D] E  F ...
 d4 = G  H  I  J  K  L   M  N, d5 =  O  P  Q  R  S  T  U  V ...

可以很容易地计算括号中像素的小数位置:

 [b] [d] [f] [w] [y] [A] [C] [D],  accessed with vtbl.8 d6, {d0,d1,d2,d3}
 The row below would be accessed with            vtbl.8 d7, {d2,d3,d4,d5}

递增vadd。8 d6, d30;与d30 =[1 1 1 1 1…]1]给出原点右边像素的查找索引等。

没有理由从两行中获取像素，除了说明这是可能的，并且如果需要，该方法可以用来实现轻微的扭曲。

在实时应用程序中使用例如lanzcos可能有点过度，但使用NEON仍然是可行的。较大因素的下采样当然需要(重)滤波，但可以很容易地通过2:1的迭代平均和抽取来实现，并且仅在最后使用分数采样。

对于要写入的任意8个连续像素，可以计算向量

  x_positions = (X + [0 1 2 3 4 5 6 7]) * source_width / target_width;
  y_positions = (Y + [0 0 0 0 0 0 0 0]) * source_height / target_height;
  ptr = to_int(x_positions) + y_positions * stride;
  x_position += (ptr & 7); // this pointer arithmetic goes only for 8-bit planar
  ptr &= ~7;               // this is to adjust read pointer to qword alignment
  vld1.8 {d0,d1}, [r0]
  vld1.8 {d2,d3], [r0], r2 // wasn't this possible? (use r2==stride)
  d4 = int_part_of (x_positions);
  d5 = d4 + 1;
  d6 = fract_part_of (x_positions);
  d7 = fract_part_of (y_positions);
  vtbl.8 d8,d4,{d0,d1}  // read top row
  vtbl.8 d9,d5,{d0,d1}  // read top row +1
  MIX(d8,d9,d6)             // horizontal mix of ptr[] & ptr[1]
  vtbl.8 d10,d4,{d2,d3} // read bottom row
  vtbl.8 d11,d5,{d2,d3} // read bottom row
  MIX(d10,d11,d6)           // horizontal mix of ptr[1024] & ptr[1025]
  MIX(d8,d10,d7)
  // MIX (dst, src, fract) is a macro that somehow does linear blending
  // should be doable with ~3-4 instructions

要计算整数部分，使用8.8位分辨率就足够了(实际上不需要计算666+[0 1 2 3 ..][7])，并将所有中间结果保存在simd寄存器中。

免责声明—这是概念上的伪c/矢量代码。在SIMD中，有两个并行任务需要优化:所需的最小算术运算量是多少，以及如何最大限度地减少不必要的改组/复制数据。在这方面，具有三寄存器的NEON方法比SSE更适合于严肃的DSP。第二个方面是乘法指令的数量，第三个优点是交错指令。

@MarkRansom是不正确的最近邻与2x2双线性插值;双线性使用4像素将产生比最近邻更好的输出。他是正确的，平均适当的像素数(如果比例大于2:1，则大于4)仍然会产生更好的输出。然而，NEON将无法帮助图像降采样，除非缩放是按整数比例完成的。

NEON和其他SIMD指令集的最大好处是能够使用相同的操作一次处理8或16个像素。如果按照您的方式访问单个元素，您将失去SIMD的所有好处。另一个问题是将数据从NEON寄存器移动到ARM寄存器是一个很慢的操作。降低图像采样最好由GPU或优化的ARM指令完成。

相关文章：