linux下hadoop集群常用命令-云服务器知识

linux下hadoop集群常用命令有哪些？Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

上传文件

1）hadoop fs -put words.txt /path/to/input/
2）hdfs dfs -put words.txt /path/wc/input/

查看某目录下所含文件

1）hadoop fs -ls /path/wc/input/
2）hadoop fs -ls hdfs://node1:9000/path/wc/input/

与linux文件系统中的用法一样，对文件所属权限

1）hadoop fs -chmod 666 /hello.txt
2）hadoop fs -chown someuser:somegrp /hello.txt

du统计文件大小

hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小，返回的数据是，文件夹大小，备份总大小
hadoop fs -count / # 统计文件数量，返回的数据是目录个数，文件个数，文件总计大小，输入路径

杀死yarn任务

yarn application -kill application_id

查看yarn日志

yarn logs -applicationId application_id > logs.txt

西部数码的容器云产品是通过docker技术，在集群服务器上部署容器服务实现，拥有上万Linux镜像，功能强大、简单易用，可轻松构建集群服务。

高性价比的容器云产品链接 https://www.west.cn/paas/container/

linux下hadoop集群常用命令