发文章
发文工具
撰写
网文摘手
文档
视频
思维导图
随笔
相册
原创同步助手
其他工具
图片转文字
文件清理
AI助手
留言交流
Avro是Hadoop中的一个子项目,也是Apache中一个独立的项目,Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase和Hive的Client端与服务端的数据传输也采用了这个工具,Avro可以做到将数据进行序列化,适用于远程或本地大批量数据交互。在传输的过程中Avro对数据二进制序列化后 节约数据存储空间 和 网络传输带宽。Avro还可以做到在同一系统中支持多种不同语言,也有点类似Apache的另一个产品:Thrift,对于Thrift不同的是Avro更加具有灵活性,Avro可以支持对定义的数据结构(Schema)动态加载,利于系统扩展。
在INFOQ2011.4架构师月刊里有详细的介绍和使用。
来自: 风中的眼睛_ > 《java框架》
0条评论
发表
请遵守用户 评论公约
(转)Apache Avro 与 Thrift 比较
Avro和Thrift都是跨语言,基于二进制的高性能的通讯中间件. 它们都提供了数据序列化的功能和RPC服务. 总体功能上类似,但是哲学不一样. ...
RPC框架比较
RPC框架比较什么是RPC:RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。典型RPC调用框架:RPC的实现和调...
浅析Hadoop文件格式
除上面提到的3种二进制格式之外,文本格式的数据也是Hadoop中经常碰到的。RCFile$Reader.getCurrentRow(RCFile.java:1434) org.apache.h...
序列化和反序列化
序列化和反序列化摘要。本文从多个角度去分析和讲解“序列化和反序列化”,并对比了当前流行的几种序列化协议,期望对读者做序列化选型...
序列化与反序列化
序列化与反序列化。Stub是一段部署在分布式系统客户端的代码,一方面接收应用层的参数,并对其序列化后通过底层协议栈发送到服务端,另...
APP为什么用JSON协议与服务端交互:序列化相关知识
实践序列化协议的考虑点支持哪些编程语言,能否跨语言支持哪些平台,是否跨平台(例如支持哪些硬件架构、操作系统)流行程度(序列化涉...
解析四种大数据文件格式
【51CTO.com快译】众所周知,Apache Spark支持许多种不同的数据格式,其中包括:无处不在的CSV格式、对于Web友好的JSON格式、以及常被用...
既然有了HTTP,为什么还需要RPC?一半以上的面试者回答不上来...
与HTTP相比,RPC具有以下优点:更高的性能:RPC协议通常使用二进制协议进行数据传输,相对于HTTP的文本协议,具有更高的性能。使用HTTP实现RPC需要定义一套标准的RPC协议,如XML-RPC、JSON-RPC、SOAP等...
RPC, Serialization and Schema
专门的JSON Schema和XML Schema是可选的,系统交互通过简明的文档和人工确认。但是二进制协议通常都需要定义Schema,thrift / protobuf / avro三者各自定义了Schema的格式,没有类似XSD和JsonSchema的...
微信扫码,在手机上查看选中内容