hadoop io PART1
数据正确性检测的技术，通常使用checksum，在数据进行传输前，计算一个checksum值，传输到目标地之后，再根据新的文件计算checksum值，如果不匹配，则说明数据损坏或被改变。只能校验，不提供修复方法。
建议使用ECC内存，提高校验正确率,但这又和hadoop的设计初衷违背？
常见的错误侦测码是CRC-32,HADOOP的ChecksumFileSystem 使用这个编码。
codec是对压缩解压的实现，在hadoop里面，代表着实现了CompressionCodec 接口。
例如GzipCodec封装了gzip算法的实现。
CompressionCodecFactory提供了根据文件名的扩展获取它的Codec的方法。
CompressionCodecFactory factory = new CompressionCodecFactory(conf);
CompressionCodec codec = factory.getCodec(inputPath);
对于64位平台的LInux，hadoop已经自带预编译好的本地压缩库，建议使用本地压缩库，提高压缩与解压的效率。
关于处理压缩文件的时候需要注意的事情，每一个codec会判断文件是否具有可分隔性，如果不可以分隔，就只能丢给一个map task去处理。这是需要注意的。
gzip,snappy都是不支持分片的。bz2和lzo（index)过的可以支持分片，可以用于输入和输出。
不支持分片速度快的lzo,lzo4snappy可以用于中间结果的压缩。配置下面的两个项目：
mapreduce.map.output.compress
mapreduce.map.output.compress.codec
最新文章
- bzoj4724--数论
- XIII Open Cup named after E.V. Pankratiev. GP of Ukraine
- android SharedPreferences 轻量级存储！
- OPENGL若干重要基础概念
- ubuntu硬盘安装卡在探测文件系统
- 转：/etc/inittab文件的字段及其说明
- c#中将默认常量(32bit)转换为8bit
- IOS应用上传须要做的工作
- (中等) HDU 1043 Eight，经典搜索问题。
- 【.net 深呼吸】获取日期的干支纪年
- 21.jQuery
- windows下cmd命令行上传代码到github的指定库
- js实现消息滚动效果
- 独立安装CentOS7.4全记录
- tensorflow学习之（九）classification 分类问题之分类手写数字0-9
- Echarts的一些总结
- docker 系列 - Dock高阶知识点文章汇集
- FontAwesome图标选择器
- CSS关键词的值-currentColor关键字提示文字(当前颜色)
- 嵌入式开发之网络心跳包---阻塞和非阻塞以及是否有必要心跳包heartbeat