Hadoop LZO安装的详细教程

2018-10-11    来源:爱站科技

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

下面是小编给大家分享的一篇Hadoop LZO安装的详细教程,感兴趣的朋友跟小编一起来了解一下吧!

1.安装 Hadoop-gpl-compression
1.1 wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-compression-0.1.0-rc0.tar.gz
1.2 mv hadoop-gpl-compression-0.1.0/lib/native/Linux-amd64-64/* $HADOOP_HOME/lib/native/Linux-amd64-64/

1.3 cp hadoop-gpl-compression-0.1.0/hadoop-gpl-compression-0.1.0.jar /usr/local/hadoop-1.0.2/lib/

2.安装 lzo
apt-get install gcc
apt-get install lzop

3.在本地测试 可以 执行 压缩及解压缩命令
下载 https://github.com/kevinweil/hadoop-lzo/zipball/master
解压包
export CFLAGS=-m64
export CXXFLAGS=-m64
//用于 hadoop0.20 ,所以1.0未必适用
进行build
ant compile-native tar
将生成的 build/hadoop-lzo-0.4.15.jar cp 到 /usr/local/hadoop-1.0.2/lib

测试解压程序
bin/hadoop jar /usr/local/hadoop-1.0.2/lib/hadoop-lzo-0.4.15.jar com.hadoop.compression.lzo.LzoIndexer /home/hadoop/project_hadoop/aa.html.lzo

以上就是关于Hadoop LZO安装的详细教程,想必都了解了吧,更多相关内容请继续关注爱站技术频道。

标签: linux

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:Nginx安装配置的详细教程

下一篇:CentOS 5.5配置NFS的详细教程