简单的使用protobuf和protostuff「建议收藏」

简单的使用protobuf和protostuff「建议收藏」在我们的开发过程中,序列化是经常需要处理的问题,比如在做分布式访问数据时,或者是在做redis缓存存储数据时,如果我们涉及的知识面不够广的话,可能会简单的使用JDK的序列化,也即在需要序列化的类上implements Serializable接口去实现序列化,我想说的是这种方式在小系统中尚且可以用一用,如果是并发很大的系统会受到严重影响,这是由于JDK自带的序列化效率很低,不论是时间上还是空间上。

大家好,又见面了,我是你们的朋友全栈君。

        在我们的开发过程中,序列化是经常需要处理的问题,比如在做分布式访问数据时,或者是在做redis缓存存储数据时,如果我们涉及的知识面不够广的话,可能会简单的使用JDK的序列化,也即在需要序列化的类上implements Serializable接口去实现序列化,我想说的是这种方式在小系统中尚且可以用一用,如果是并发很大的系统会受到严重影响,这是由于JDK自带的序列化效率很低,不论是时间上还是空间上。我们经常使用的序列化方式还有XML和Json,说实在的我更多的是使用Json,我觉得它很方便很友好,但这些都不够好,我今天要将的是google开发的开源的序列化方案protocol buffer(简称protobuf),它的好处很多,独立于语言,独立于平台,最最重要的是它的效率相当高,用protobuf序列化后的大小是json的10分之一,xml格式的20分之一,是二进制序列化的10分之一,是不是很心动。其实我也刚接触这个好东西,写下此篇博客就当一个学习笔记吧。

protobuf使用起来非常简单,它的主要流程是:我们需要自己写一个.proto文件用来描述序列化的格式,然后用protobuf提供的protoc工具将.proto文件编译成一个Java文件(protobuf官方支持很多语言:Java、C++、C#、Go、Python ,protobuf是一个开源项目,因此有很多大牛也实现了其他语言,但它们的可靠性还有待验证),最后将该Java文件引入到我们的项目中就可以使用了,当然还得引入protobuf的依赖包。

1、我们需要到官网下载protobuf的相应版本,我这里下载的是windows下的3.1.0版protoc-3.1.0-win32.zip

2、将下载好的zip解压,能看到bin目录下有一个protoc.exe的文件,等下需要用它来编译文件,我们直接在bin目录下      创建一个简单的person.proto的描述文件,内容如下:

syntax = "proto3";

option java_package = "gudao.red.protobuf";
option java_outer_classname = "PersonFactory";

message Person{

     int32 id = 1;
     string name = 2;
     int32 age = 3;
     Addr addr = 4;
   
}

message Addr{
     
     string contry = 1;
     string city = 2;

}

内容非常简单,大概介绍一下:

syntax = “proto3”;   我们使用proto3版协议

option java_package = “gudao.red.protobuf”; 编译之后生成的Java文件的包名

option java_outer_classname = “PersonFactory”; 编译之后生成的Java类的类名

message 相当于Java中的class

详细的介绍,还请自行去官网查看


3、使用protoc编译上述.proto文件,生成Java类,使用如下命令完成该操作

protoc --java_out=./src ./person.proto

 –java_out:生成的Java文件输出的位置,其他语言有相应的选项

这样就会在src目录下生成一个 名为PersonFactory的Java文件


4、将PersonFactory.java文件引入到我们的项目中,并引入对应版本的protobuf的依赖包

简单的使用protobuf和protostuff「建议收藏」

简单的使用protobuf和protostuff「建议收藏」

5、写测试代码

package gudao.red.protobuf_test;import java.net.Socket;import gudao.red.protobuf.PersonFactory.Addr;import gudao.red.protobuf.PersonFactory.Person;public class Client {	    public static void main(String[] args) throws Exception {        Socket socket = new Socket("127.0.0.1",3030);                Person.Builder person = Person.newBuilder();                Addr.Builder addr = Addr.newBuilder();        addr.setContry("china").setCity("shenzhen");                person.setId(1).setAge(12).setName("ccf");        person.setAddr(addr);                byte[] messageBody = person.build().toByteArray();            int headerLen = 1;        byte[] message = new byte[headerLen+messageBody.length];        message[0] = (byte)messageBody.length;        System.arraycopy(messageBody, 0,  message, 1, messageBody.length);        System.out.println("msg len:"+message.length);        socket.getOutputStream().write(message);    }}

package gudao.red.protobuf_test;

import java.net.ServerSocket;
import java.net.Socket;

import gudao.red.protobuf.PersonFactory.Person;

public class Server {
	
    /**
     * @param args
     */
    public static void main(String[] args) throws Exception {
        // TODO Auto-generated method stub
        ServerSocket serverSock = new ServerSocket(3030);
        while(true){
            Socket sock = serverSock.accept();
            byte[] msg = new byte[256];
            sock.getInputStream().read(msg);
            int msgBodyLen = msg[0];
            System.out.println("msg body len:"+msgBodyLen);
            byte[] msgbody = new byte[msgBodyLen];
            System.arraycopy(msg, 1, msgbody, 0, msgBodyLen);
            
            Person person = Person.parseFrom(msgbody);
            
            System.out.println("Receive:");
            System.out.println(person);
        }

    }

}

先后启动Server和Client,就可以看到控制台的输出如下:

简单的使用protobuf和protostuff「建议收藏」

至此,我们的简单使用过程就完成了,是不是很简单。是,这个例子看上去是挺简单的,但如果我们需要序列化的类非常多,那么我们是不是得写非常多的.proto文件,并且还需要更新它们,这个代价可以想象一下也是非常大的。那么,接下来我们就来讲一讲protostuff,看这名字是不是跟protobuf很像,嗯,它们是有关系,前者就是基于后者实现的。


6、protostuff是一个基于protobuf实现的序列化方法,它较于protobuf最明显的好处是,在几乎不损耗性能的情况下做到了不用我们写.proto文件来实现序列化。使用它也非常简单,所以直接上代码。

package gudao.red.protostuff;import java.util.Arrays;import java.util.List;public class Po {		private Integer id;	private String name;	private String remark;	private Integer age;	private int[] array;	private InnerPo innerPo;	private List<String> more;		public Po(){}		public Po(Integer id,String name,String remark,Integer age,			int[] array,InnerPo innerPo,List<String> more){		this.id = id;		this.name = name;		this.remark = remark;	    this.age = age;	    this.array = array;	    this.innerPo = innerPo;	    this.more = more;	}		public Integer getId() {		return id;	}	public void setId(Integer id) {		this.id = id;	}	public String getName() {		return name;	}	public void setName(String name) {		this.name = name;	}	public String getRemark() {		return remark;	}	public void setRemark(String remark) {		this.remark = remark;	}	public Integer getAge() {		return age;	}	public void setAge(Integer age) {		this.age = age;	}	public int[] getArray() {		return array;	}	public void setArray(int[] array) {		this.array = array;	}	public InnerPo getInnerPo() {		return innerPo;	}	public void setInnerPo(InnerPo innerPo) {		this.innerPo = innerPo;	}	public List<String> getMore() {		return more;	}	public void setMore(List<String> more) {		this.more = more;	}	  	@Override	public String toString() {				StringBuffer sb = new StringBuffer();		sb.append("id:"+id+"\n");		sb.append("name:"+name+"\n");		sb.append("remark:"+remark+"\n");		sb.append("age:"+age+"\n");		sb.append("array:"+Arrays.toString(array)+"\n");		sb.append("innerPo:"+innerPo.toString()+"\n");	    sb.append("more:"+more);		return  sb.toString();	}		}class InnerPo{	private Integer id;	private String name;		public InnerPo(){}		public InnerPo(Integer id,String name){		this.id = id;		this.name = name;	}		public Integer getId() {		return id;	}	public void setId(Integer id) {		this.id = id;	}	public String getName() {		return name;	}	public void setName(String name) {		this.name = name;	}			@Override	public String toString() {		return id+"-"+name;	}	}

package gudao.red.protostuff;

import java.util.ArrayList;
import java.util.List;

import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.runtime.RuntimeSchema;

public class ProtostuffTest {
	
	static RuntimeSchema<Po> poSchema = RuntimeSchema.createFrom(Po.class);
	
	private static byte[] decode(Po po){
		return ProtostuffIOUtil.toByteArray(po, poSchema, LinkedBuffer.allocate(LinkedBuffer.DEFAULT_BUFFER_SIZE));
	}
	
	private static Po ecode(byte[] bytes){
		Po po = poSchema.newMessage();
		ProtostuffIOUtil.mergeFrom(bytes, po, poSchema);
		return po;
	}
	
	public static void main(String[] args) {
		InnerPo innerPo = new InnerPo(1, "InnerPo1");
		List<String> list = new ArrayList<String>();
		list.add("a");
		list.add("b");
		Po po = new Po(1, "Fong", "备注", 24, new int[]{1,2,3,4},innerPo,list);
		byte[] bytes = decode(po);
		System.out.println(bytes.length);
		Po newPo = ecode(bytes);
		System.out.println(newPo);
	}

}

简单的使用protobuf和protostuff「建议收藏」


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/140823.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • c++入门教程–-22类构造函数 & 析构函数

    c++入门教程–-22类构造函数 & 析构函数

  • [python]解析通达信盘后数据获取历史日线数据[通俗易懂]

    [python]解析通达信盘后数据获取历史日线数据[通俗易懂]转自:http://bbs.pinggu.org/forum.php?mod=viewthread&tid=4804415&page=1平时我们在做离线的模型回溯测试时候,需要历史的k线数据。可是通达信的日线数据如下:日线数据在通达信的安装目录:vipdoc\sh\lday下面本地的通达信是没有开放api和外部的自己的交易回溯测试…

  • DWD层总结

    DWD层总结DWD层:4步建模作用:1)对用户行为数据进行解析2)对核心数据进行判空过滤3)对业务数据采用维度模型重新建模。一、DWD层数据分析首先DWD层数据都来源于ODS层。具体数据可分为两类1)用户行为数据(多为json)2)业务数据1、用户行为数据业务行为数据一般都是来源于前端页面的埋点日志信息分为启动日志和普通日志启动日志表中每行数据对应一个启动记录,一个启动记录应该包含日志中的公共信息和启动信息。先将所有包含start字段的日志过滤出来,然后使用get_json_object

  • sendfile为什么比read、writer快

    sendfile为什么比read、writer快本文转自: http://www.yanyufly.com/2010/10/22/sendfile为什么比readwrite快/ 在看关于文件IO优化资料时,其中提到了sendfile,man了一下,原理是:由于cp都执行在内核态中,避免用户多次调用的切换以及内存cp,因此性能要高于read()+write().适用于从一个文件读出写到另一个文件(网络Fd也可)#include

  • pytest报错_eclipse提交代码到git

    pytest报错_eclipse提交代码到git前言我们每天写完自动化用例后都会提交到git仓库,随着用例的增多,为了保证仓库代码的干净,当有用例新增的时候,我们希望只运行新增的未提交git仓库的用例。pytest-picked插件可以

  • 五大创意礼品网站_实用礼品

    五大创意礼品网站_实用礼品朋友、父母过生,经常苦于不知道送啥好,送一般的显得没有新意,想送个有创意的吧,又不知道到哪选。为此,小编我特意调研了国内的创意礼品网站,给出前十位的网站,供大家参考。礼意久久送礼网:www.liyi99.com  成立于09年的礼意久久送礼网是目前国内领先的在线礼品销售网站,礼品门类齐全,有自己的呼叫中心,同时也接受过央视的采访。  优点:礼品种类齐全,同时全国免运费;…

    2022年10月24日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号