序列化c++对象,通过套接字发送给Python -最好的方法

Serialize C++ object to send via sockets to Python - best approach?

本文关键字:Python 方法 对象 c++ 套接字 序列化      更新时间:2023-10-16

我需要在两个不同的框架之间创建一个网络通信,一个用C++编写,另一个用Python编写。

为了交换数据,我想在C++中创建某种灵活的结构(基本上是一个结构),它被序列化,通过套接字发送到Python,然后反序列化。

最常见的方法是什么?我确信Boost可以在任何一方做到这一点,因为有boost python,但我不想炸毁项目的要求那么多。除了指定自己的二进制数据格式,有没有更小的库或者其他更优雅的解决方案?

更新:

所以这里有一个例子如何使用谷歌protobuf发送数据结构从C++脚本到Python脚本通过UDP。这是在Mac OS X Mavericks上测试的,但在其他Unix系统上也应该可以正常工作。

安装protobuf

第一步当然是安装protobuf库。我使用自制的主库和pip来安装Python模块:
brew install protobuf
pip install protobuf
然后我用原型语法定义了一个非常简单的数据结构:

文件名:foo.proto

package prototest;
message Foo {
  required int32 id = 1;
  required string bar = 2;
  optional string baz = 3;
}

这个原型文件现在可以通过以下方式翻译成c++和Python类:

protoc foo.proto --cpp_out=. --python_out=.

文件夹现在应该包含c++头文件和源文件以及Python代码:

├── foo.pb.cc
├── foo.pb.h
├── foo.proto
└── foo_pb2.py

让我们看一下非常基本的C++代码,这意味着通过网络发送foo的实例,使用UDP(到端口5555上的本地主机):

文件名:send.cc

#include <sys/socket.h>
#include <arpa/inet.h>
// this is our proto of foo
#include "foo.pb.h"
int main(int argc, char **argv)
{
  struct sockaddr_in addr;
  addr.sin_family = AF_INET;
  inet_aton("127.0.0.1", &addr.sin_addr);
  addr.sin_port = htons(5555);
  // initialise a foo and set some properties
  GOOGLE_PROTOBUF_VERIFY_VERSION;
  prototest::Foo foo;
  foo.set_id(4);
  foo.set_bar("narf");
  // serialise to string, this one is obvious ; )    
  std::string buf;
  foo.SerializeToString(&buf);
  int sock = socket(PF_INET, SOCK_DGRAM, 0);
  sendto(sock, buf.data(), buf.size(), 0, (struct sockaddr *)&addr, sizeof(addr));
  return 0;
}

我通过clang++编译它:

clang++ -o send send.cc foo.pb.cc -lprotobuf

最后,这是Python代码,它等待UDP数据包并将它们反序列化为foo。同样,没有任何错误检查,这只是为了演示功能:

文件名:receive.py

import socket
from foo_pb2 import Foo
sock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
sock.bind(("127.0.0.1", 5555))
foo = Foo()
while True:
    data, addr = sock.recvfrom(1024)
    foo.ParseFromString(data)
    print("Got foo with id={0} and bar={1}".format(foo.id, foo.bar))
现在我们完成了,这是最终的目录结构:
├── foo.pb.cc
├── foo.pb.h
├── foo.proto
├── foo_pb2.py
├── receive.py
├── send
└── send.cc

要测试脚本,只需运行receive.py通过

监听UDP数据包
python receive.py

并在执行c++生成的send脚本时注意输出:

./send

Protocol Buffers的后继者Cap'n Proto也对c++和Python有很好的支持。(披露:我是Cap'n Proto的作者,也是Google发布的大部分Protobuf代码的作者。)

Go for Protocol Buffers -谷歌代码,它有足够的资源用于c++和python。您可以创建一个兼容的结构,在两种语言中都可读。

协议缓冲区是一种序列化结构化数据的方法。因此,它们在开发相互通信的程序时很有用通过电线或用于存储数据。该方法涉及一个接口描述语言,用于描述某些数据的结构程序中生成的各种描述源代码用于生成或解析字节流的编程语言表示结构化数据。__