google protobuf学习笔记二：使用和原理

一.什么是protobuf

protobuf全称Google Protocol Buffers，是google开发的的一套用于数据存储，网络通信时用于协议编解码的工具库。它和XML或者JSON差不多，也就是把某种数据结构的信息，以某种格式（XML，JSON）保存起来，protobuf与XML和JSON不同在于，protobuf是基于二进制的。主要用于数据存储、传输协议格式等场合。那既然有了XML等工具，为什么还要开发protobuf呢？主要是因为性能，包括时间开销和空间开销：

1.时间开销：XML格式化（序列化）和XML解析（反序列化）的时间开销是很大的，在很多时间性能上要求很高的场合，你能做的就是看着XML干瞪眼了。

2.空间开销：熟悉XML语法的同学应该知道，XML格式为了有较好的可读性，引入了一些冗余的文本信息。所以空间开销也不是太好(应该说是很差，通常需要实际内容好几倍的空间)。

据实验（当然不是我实验），一条消息数据，用protobuf序列化后的大小是json格式的十分之一，xml格式的二十分之一。

这一篇主要讲protobuf用作数据存储方面，下一篇讲用作rpc通讯协议方面。

二.使用protobuf

protobuf的使用很简单，开发人员按照一定的语法定义结构化的消息格式，然后用自带的编译工具，工具将自动生成相关的类，官方支持java、c++、python语言环境（当然可以在网上找到很多支持其他语言的封装，当然你也可以自己写一个，只要符合google定义的格式）。通过将这些类包含在项目中，可以很轻松的调用相关方法来完成业务消息的序列化与反序列化工作。

1.定义报文格式。protobuf文件的后缀是proto，是一种类似c++或者java的语法。使用protoc.exe（windows平台下，你可以下载源码编译，也可以网上直接下载exe，这个大家自行Google）把proto文件编译成c++，java或者Python就可以使用了。

[cpp] view plain copy

1. package tutorial;  
2.   
3. message Person {  
4.   required string name = 1;  
5.   required int32 age = 2;  
6.   optional string email = 3;  
7.   
8. }  

在这里定义了一个Person，我们只是简单的定义了name,age和email。这里注意，在上例中，package 名字叫做 tutorial，相当于c++的namespace，定义了一个消息 Person，该消息有3个成员，类型为 string 的 name，类型为 int32 的成员 age和类型为string的email。optional 代表这是一个可选的成员，即消息中可以不包含该成员，required代表是必须的。

写好proto之后把proto放在protoc.exe相同目录，然后在此目录使用指令：protoc --cpp_out=d:\proto person.proto(我们使用的是c++)。当用protocolbuffer编译器来运行.proto文件时，编译器将生成所选择语言的代码，这些代码可以操作在.proto文件中定义的消息类型，包括获取、设置字段值，将消息序列化到一个输出流中，以及从一个输入流中解析消息。

就可以生成person.pb.h,person.pb.cc.在生成的头文件中，定义了一个 C++ 类 Person，继承自google::protobuf::Message，后面我们进行对Person数据的文件读写， 将使用这个类来对消息进行操作。诸如对消息的成员进行赋值，将消息序列化等等都有相应的方法。

首先，把数据写入disk：

[cpp] view plain copy

1. #include <iostream>  
2. #include<fstream>  
3. #include "person.pb.h"  
4.   
5. #pragma comment(lib, "libprotobuf.lib")  
6. #pragma comment(lib, "libprotoc.lib")  
7.   
8. using namespace std;  
9. using namespace tutorial;  
10.   
11. int main()  
12. {  
13.     Person person;  
14.   
15.     person.set_name("flamingo");     
16.     person.set_age(18);   
17.     person.set_email("[e-mail]");  
18.   
19.     // Write  
20.     fstream output("./log", ios::out | ios::trunc | ios::binary);  
21.   
22.     if (!person.SerializeToOstream(&output)) {  
23.         cerr << "Failed to write msg." << endl;  
24.         return -1;  
25.     }  
26.   
27.     system("pause");  
28.     return 0;  
29. }  

namespace tutorial就是我们之前定义的package，我们先定义一个Person，然后给Person赋值，其中set_name,set_age,set_email是根据proto自动生成的，我们使用SerializeToOstream 将对象序列化成二进制（导致了可读性差的问题，这算是protobuf的一个缺点吧）后写入一个 fstream 流。

然后在从disk读出Person的数据：

[cpp] view plain copy

1. #include <iostream>  
2. #include<fstream>  
3. #include "person.pb.h"  
4.   
5. #pragma comment(lib, "libprotobuf.lib")  
6. #pragma comment(lib, "libprotoc.lib")  
7.   
8. using namespace std;  
9. using namespace tutorial;  
10.   
11. void PrintInfo(const Person & person) {   
12.     cout << person.name() << endl;   
13.     cout << person.age() << endl;   
14.     cout << person.email() << endl;  
15. }   
16.   
17. int main()  
18. {  
19.     Person person;    
20.   
21.     fstream input("./log", ios::in | ios::binary);  
22.       
23.     if (!person.ParseFromIstream(&input)) {  
24.         cerr << "Failed to parse address book." << endl;  
25.         return -1;  
26.     }  
27.   
28.     PrintInfo(person);  
29.   
30.     system("pause");  
31.     return 0;  
32. }  

主要是利用 ParseFromIstream 从一个 fstream 流中读取序列化的信息并反序列化。