嵌入式 Linux 应用程序中的周期"lags"

Periodics "lags" in Embedded Linux application

本文关键字:周期 lags Linux 应用程序 嵌入式      更新时间:2023-10-16

我的团队正在为一个产品开发嵌入式Linux解决方案,其中中心应用程序从硬件接收和处理数据,并将其发送到数据库和接口应用程序。在此过程中,我们正在处理五个线程:

  1. 主线程:创建其他线程并进行一些旁处理(从界面应用程序读取数据等)
  2. UPP 线程:从硬件接收数据并将其放入缓冲区中
  3. DSP 线程:从以前的缓冲区中选取数据,并要求 DSP 处理器使用此数据进行计算。返回的数据存储在第二个缓冲区中
  4. 数据库线程:一段时间后,选择合理数量的计算数据并将它们存储在文件系统中。
  5. 接口
  6. 线程:选取当前数据并发送到接口应用

此应用程序不能错过 UPP 线程提供的任何数据包,它每 200 毫秒获取新数据.DSP 线程通常比这 200 毫秒花费的时间更少(目前需要 ~30 毫秒,但将来需要更多时间)。数据库线程通常每 30 秒调用一次,接口线程以 5 Hz 频率调用。

我们面临的问题是,有时线程需要更多时间来完成它们的工作,尤其是数据库和 DSP 线程。IOW,虽然系统每次运行 UPP 都会运行 DSP,但有时 UPP 最多运行 15 次,而无需调用 DSP,从而丢失接收到的数据。线程中的这些零星"滞后"发生在所有线程中,但数据库和接口中的滞后没有问题,只有当它们出现在 UPP 或 DSP 线程中时。

我们检查所有可能的内容,试图在我们的代码中找到问题所在,但没有成功 - 大多数时候系统运行没有任何滞后。不过,我们注意到了一些模式:

  • 当界面运行时,可以看到最"重"的小部件之一时,更容易发生滞后。
  • 尽管如此,所需处理的增加似乎并不是原因:用一些"垃圾处理"给系统施加压力并且打开的接口并没有增加延迟的发生。
  • 它可能与界面和那个特定的小部件没有直接关系;它的所有处理在时间上都是相似的(所以任何错误都可能最终是随机的,事实并非如此)。

我们开始认为这是Linux的东西。通常,在PC的日常使用中,鼠标或应用程序确实会发生一些滞后,Linux可能会对我们这样做。我们还考虑使用在主Omap L138处理器和DSP处理器之间共享的RAM内存,但一些测试为该假设提供了负面证据。

你有什么建议吗?Linux真的是问题的根源吗?我们怎么知道以及如何解决?

任何帮助将不胜感激。

附言:同此

这可能有点太基础了,但这是我过去处理与时间和设计相关的错误时考虑过的事项清单。

指定可接受的滞后

在时间敏感型应用程序的情况下,过早优化可能非常昂贵,请确保您了解滞后要求是什么(有硬数字),测量您正在观察的内容,并不断改进,直到达到目标。

选择合适的硬件

确保如果你有 n 个线程,你想要合理的时机,你有大约 n 个内核。这使得证明您的进程未充分利用 CPU 变得非常容易。即使无法在生产中执行此操作,在测试期间执行此操作也有助于排除某些类型的错误。

确保您的应用程序不会使用交换空间 - 确保您有足够的 RAM 用于所有可能的用例和运行时。使用像valgrind这样的工具来确保你没有泄漏内存。

选择合适的嵌入式操作系统

您的应用程序对时序越重要,就越有可能需要一个提供时序保证的操作系统。在真正的硬实时操作系统上运行将产生与在精简的桌面 Linux 上运行非常不同的结果。了解并理解您选择的嵌入式 Linux 的含义。

为您的应用程序选择合适的优先级

如果您看到零星的滞后,请确保您的系统上没有运行任何其他可能导致问题的内容。我在桌面 Linux 变体上看到了一些可能导致问题的奇怪事情,包括音频驱动程序。

至少在测试期间,您的优先级比其他后台进程高得多(值更低)。你可以用nice来做到这一点。

了解内核调用发生的位置

如评论中所述,使用 strace 等工具来识别正在进行哪些内核调用是一个非常好的主意。同样,了解哪些类型的函数/操作将触发系统调用会非常有帮助(例如,在可能的情况下,重用缓冲区而不是触发频繁的分配和释放)。

这也有助于理解并最大程度地减少应用程序正在执行的锁定。这包括显而易见的事情,例如以一致的顺序获取锁,最大限度地减少使用锁所花费的时间,以及采用有意义的最轻量级同步基元(您可以使用原子而不是互斥体吗?

选择合适的调度程序和线程优先级

如果您的任务多于内核,请考虑您正在使用哪个调度程序。

通用调度程序(在大多数情况下)不适合性能关键型应用程序。您的 linux 发行版将提供一些机制来更改调度程序(尽管这可能需要提升权限)。

循环调度(SCHED_RR)是一个好的开始,因为它使CPU利用率数学非常容易计算(至少给出一个大概的估计)。确保具有最严格计时要求的线程具有最高优先级。请注意,更改优先级可能会导致一些细微的错误(优先级反转)

将性能关键线程锁定到特定内核

您可以使用操作系统(或特定于平台)调用来设置线程相关性(需要停留在特定内核上)sched_affinity。在某些情况下,这有助于确保一致的缓存性能