4_集群搭建03.md

启动方式

• 需要启动HDFS和YARN
• 首次启动HDFS需要进行格式化，本质是一些清理和准备工作，此时的HDFS在物理上还是不存在的
• hdfs namenode - format
• hadoop namenode - format

关于hdfs的格式化

• 首次启动需要格式化
• 本质是运行文件系统的初始化操作 创建一些自己所需要的文件
• 格式化以后 集群启动成功 就不在需要进行格式化
• 格式化的操作在HDFS集群的主角色namenode所在的机器操作

单节点逐个启动

• 在主节点上使用命令启动HDFS NameNode
  • hadoop-daemon.sh start namenode
• 在每个从结点上使用一下命令启动HDFS DataNode
  • hadoop-daemon.sh start datanode
• 在主节点上使用以下命令启动YARN ResourceManager
  • yarn-daemon.sh start resourcemanager
• 在每个从节点上使用以下命令启动YARN nodemanager
  • yarn-daemon.sh start nodemanager
• 脚本地址
  • $HADOOP_PREFIX/sbin/

脚本一键启动

• 前提：配置slaves和ssh免密登录

• hdfs

  • $HADOOP_PREFIX/sbin/start-dfs.sh

• yarn

  • $HADOOP_PREFIX/sbin/start-yarn.sh

• 停止集群：stop-dfs.sh/stop-yarn.sh

• jps：查看启动情况

集群web-ui

• NameNode

  • http://nn_host:port /默认50070
  • eg:node-1:50070
  • 
  • 可以在这里看所有的文件

• HDFS的使用

  • hdfs dfs -ls /
  • hdfs dfs -mkdir /hello
  • hdfs dfs -put xxx.cfg /hello

• ResourceManager

  • eg： node-1：8088

  • 

  • 执行一个mapreduce程序

  • cd /export/server/hadoop/share/hadoop
    cd mapreduce
    hadoop jar hadoop-mapreduce-examples-2.7.4.jar pi 20 50 
    

  •