C++协议缓冲区，发送整数数组

C++ Protocol Buffer, sending integer array

本文关键字：整数 数组 协议 缓冲区 C++      更新时间：2023-10-16

我有一个嵌入式C++项目，我从硬件设备读取一系列int32，然后将它们打包到一个int数组中作为大数据结构的一部分，然后通过TCP/IP发送到远程系统。所以，我使用了一个简单的数据结构，定义了一堆东西，现在我想将其转换为使用协议缓冲区。所以，我考虑使用"重复的int32数据"作为我的原型buff的元素。但我想避免使用这样的循环：

int hardware_data[1000]; // An array that holds the data read from the hardware
for(int i=0; i< sizeof(hardware_data); i++ )
{
    proto.add_data( hardware_data[i] );
}

我宁愿使用一种有效的方法，例如使proto buff仅指向现有的hardware_data[]数组（零复制方法），或者使用从hardware_data到proto.data的memcpy。

我了解如何设置 memcpy（），但是原型爱好者如何知道 proto.data "数组"中有多少元素？我还能使用 proto.data_size（） 来获取元素的数量吗？有没有一种有效的方法将数据从我的硬件读取移动到原型buff进行发送？有没有更好的方法可以做到这一点？

克里克，我不知道零拷贝 API。这是我的原型定义：

message hardware_data 
{
optional    Lob                     lob             = 1;
optional    int32                   taskSeqNum      = 2;
optional    int32                   secondsOfDay    = 3;
optional    float                   IQOutRateKhz    = 4;
optional    float                   IQBwKhz         = 5;
optional    int32                   tStart          = 6;
optional    int32                   tOffset         = 7;
optional    float                   collectionTime  = 8;
optional    int32                   numSamples      = 9;
optional    int32                   chunk           = 10;
optional    int32                   dimSize         = 11;
repeated    int32                   data            = 12 [packed=true];
}

我不确定零副本将如何在这个原型buff定义中发挥作用。

在网络上，一个打包的重复 int32 被编码为一系列变量。变体是一种可变宽度编码，其中较小的值占用更少的空间。当然，这不是数据在数组中的表示方式，因此将其嵌入到消息零拷贝中实际上是不可能的。

但事实上，您目前正在制作两个副本，您可以消除其中一个。考虑将数据直接粘贴到google::protobuf::RepeatedField<int>中，而不是直接分配int hardware_data[1000]。然后，您可以巧妙地利用Swap()将数据移动到没有副本的消息中：

RepeatedField<int> hardware_data;
hardware_data.Reserve(expected_size);
get_data_somehow(&hardware_data);
// later
proto.mutable_data()->Swap(&hardware_data);

序列化消息后，您可能希望另外 Swap（） 返回该字段，以便可以重用已保留的内存。（RepeatedField::Clear()不会释放底层内存，只需将其标记为重用即可。

综上所述，序列化消息仍然需要复制数据作为编码的一部分。即使您将编码更改为打包的重复 fixed32（实际上在线上编码为 32 位整数），也无法说服库直接使用您的内存。

相关文章：