Rdkafka消费者查询分区大小

rdkafka consumer query about partition size

本文关键字：分区查询消费者 Rdkafka 更新时间：2023-10-16

假设我无法访问在感兴趣的分区上提交的一组生产者，但只能控制一堆c++消费者。因为我在一个复杂的程序上运行基准测试，所以我想知道我的消费者获取的偏移量和存储在分区中的总偏移量之间的差。

。， >> reading message #1234 of 5678 total in partition 0 of topic foo

我误解了RdKafka::Consumer->outq_len()和RdKafka::Topic->OFFSET_END的目的，因为它们似乎总是分别等于0和-1。

如何获取示例的5678值?

您需要订阅librdkafka的统计数据，以获得有关您的消费者延迟的最新视图。注册一个Event回调类并在句柄上定期调用poll()，检查EVENT_STATS，然后解析相应的JSON消息并查找lo_offset, hi_offset和consumer_lag。