Avro「建议收藏」

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46，售后保障稳定

序列化/反序列化机制

将对象转化为字节来进行存储称之为序列化；将字节还原会对象的过程称之为反序列化

java中的序列化反序列化机制：需要利用原生流来实现，Serializable(该对象可以进行序列化/反序列化)，static/transient(被修饰之后不能序列化/反序列化)，serialVersionUID(版本号,如果版本号对上了再进行序列化/反序列,如果对不上,不进行序列化/反序列化)
原生机制缺点：

1. 效率低
2. 占用空间比较大：将类以及对象中的信息全部输出
3. 兼容性较差：只能支持java使用

Avro-大数据通用的序列化器

简介

Apache Avro（以下简称 Avro）是一种与编程语言无关的序列化格式。Doug Cutting 创建了这个项目，目的是提供一种共享数据文件的方式。

Avro 数据通过与语言无关的 schema 来定义。schema 通过 JSON 来描述，数据被序列化成二进制文件或 JSON 文件，不过一般会使用二进制文件。Avro 在读写文件时需要用到 schema，schema 一般会被内嵌在数据文件里。

是Apache的开源项目。(天然支持Hadoop)
利用固定格式的文件(.avsc)来实现不同平台之间的解析操作。

Avro支持类型

Avro简单格式列表（8种）

Avro复杂格式列表（6种）

Test.avsc文件 所有格式实例

说明:Test.avsv文件,利用avro的插件可生成对应的Test类,这个类可以利用avro的API序列化/反序列化

{ 
"namespace": "avro.domain", 
"type": "record", 
"name": "Test", 
"fields": [   
{ 
"name": "stringVar", "type": "string"},   
{ 
"name": "bytesVar", "type": ["bytes", "null"]},  
{ 
"name": "booleanVar",  "type": "boolean"},   
{ 
"name": "intVar",  "type": "int", "order":"descending"},   	
{ 
"name": "longVar",  "type": ["long", "null"], "order":"ascending"},   
{ 
"name": "floatVar",  "type": "float"},   
{ 
"name": "doubleVar",  "type": "double"},   
{ 
"name": "enumVar",  "type": { 
"type": "enum", "name": "Suit", "symbols" : ["SPADES ", "HEARTS", "DIAMONDS", "CLUBS"]}},   
{ 
"name": "strArrayVar", "type": { 
"type": "array", "items": "string"}},   
{ 
"name": "intArrayVar", "type": { 
"type": "array", "items": "int"}},     
{ 
"name": "mapVar", "type": { 
"type": "map", "values": "long"}},   
{ 
"name": "fixedVar", "type": { 
"type": "fixed", "size": 16, "name": "md5"}} 
] 
}

Jetbrains全家桶1年46，售后保障稳定

利用AVRO定义avdl文件,生成类

avdl文件用于avro生成协议方法的。

实现步骤：

1. 创建maven项目
2. 添加pom依赖

<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.11</version>
<scope>test</scope>
</dependency>
<!--日志依赖-->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.6.4</version>
<scope>compile</scope>
</dependency>
<dependency>
<!-- avro的依赖 -->
<groupId>org.apache.avro</groupId>
<artifactId>avro</artifactId>
<version>1.7.5</version>
</dependency>
<dependency>
<groupId>org.apache.avro</groupId>
<artifactId>avro-ipc</artifactId>
<version>1.7.5</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>2.3.2</version>
</plugin>
<plugin>
<groupId>org.apache.avro</groupId>
<artifactId>avro-maven-plugin</artifactId>
<version>1.7.5</version>
<executions>
<execution>
<id>schemas</id>
<phase>generate-sources</phase>
<goals>
<goal>schema</goal>
<goal>protocol</goal>
<goal>idl-protocol</goal>
</goals>
<configuration>
<!--存放avsc文件的地址-->
<sourceDirectory>${ 
project.basedir}/src/main/avro/</sourceDirectory>
<!--生成源码的地址-->
<outputDirectory>${ 
project.basedir}/src/main/java/</outputDirectory>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>

3. 在src\main\avro目录下新建一个后缀为avsc的文件，比如User.avsc文件
   
4. 根据avro格式要求以及业务要求编辑这个文件(这里只做简单的示范)

{
"namespace":"avro.pojo",
"type":"record",
"name":"User",
"fields":
[
{"name":"name","type":"string"},
{"name":"age","type":"int"}
]
}

5. 生成代码
   eclipse:(项目名右键)
   idea:
   就会在指定的目录下生成类:
   
   这里生成的代码就不贴了,可以自己生成之后进行查看!

对实体类简单的调用

// User user = new User();
// user.setName("鲁智深");
// user.setAge(18);
// User user = new User("史进", 80);
// User user = User.newBuilder().setName("公孙胜").setAge(150).build();
// 利用原对象构建新对象
// 实际上底层是调用的clone方法来进行克隆
User user = User.newBuilder(new User("李逵", 80)).setAge(70).build();
System.out.println(user);

序列化

public void write() throws IOException { 

User user = new User("Amy", 40);
DatumWriter<User> dw = new SpecificDatumWriter<>(User.class);
DataFileWriter<User> dfw = new DataFileWriter<>(dw);
// 指定写出文件
dfw.create(user.getSchema(), new File("1.txt"));
dfw.append(user);
dfw.append(new User("Sam", 70));
dfw.append(new User("Bob", 70));
dfw.close();
}

反序列化

public void read() throws IOException { 

DatumReader<User> dr = new SpecificDatumReader<>(User.class);
DataFileReader<User> dfr = new DataFileReader<>(new File("1.txt"), dr);
// 提供了迭代机制来迭代读取数据
// while(dfr.hasNext()){ 

//
// User user = dfr.next();
// System.out.println(user);
// }
// Lambda表达式
// dfr.forEach(u -> System.out.println(u));
// 对象方法的传递
dfr.forEach(System.out::println);
dfr.close();
}

Avro天然支持RPC
Avro是基于Netty的