如何在线性插值中找到坏点

我有一组点，我知道:

1. 均为0-255
2. 它们是递增格式的(所以Point[0] <= Point[1])
3. 它们正在抑制一条线(带有一些噪声)。

但是有一些点表现不好。我需要检测这些点。最快的方法是什么?

一般来说，我可以得到第一个和最后一个，找到直线公式，然后计算每个点的误差，如果误差太高，我就把这个点标记为坏点。

有没有更好的方法(更快更准确)?

是否有任何库可以帮助(我使用OpenCV和Boost)。