凉情凉心
至此: 要手动创建的文件夹有:/usr/local/cloud/下: /usr/local/cloud/data/hadoop/dfs/dn /usr/local/cloud/data/hadoop/dfs/nn /usr/local/cloud/data/hadoop/ha/journal /usr/local/cloud/data/hadoop/logs/hadoop /usr/local/cloud/data/hadoop/tmp
/usr/local/cloud/data/hadoop/yarn/local /usr/local/cloud/data/hadoop/yarn/logs
配置zookeeper集群
详细说明参考: http://abloz.com/hbase/book.html#zookeeper 在zookeeper目录下建立data目录 和logs目录，
zookeeper可以在Hadoop集群中选几台机器同时作为zookeeper节点，给HA私用。 在实践中建议采用手工切换的方式，这样更可靠，也方便查找问题。
进入zookeeper目录conf下,mv cp zoo_sample.cfg zoo.cfg 之后配置vim zoo.cfg
#手动创建数据存放目录数据存放目录 dataDir=/usr/local/cloud/zookeeper/data
#日志存放目录，手动创建。如果没有貌似启动不成功 dataLogDir=/usr/local/cloud/zookeeper/logs # the port at which the clients will connect clientPort=2181
[注意:zookeeper可以在Hadoop集群中选几台机器同时作为zookeeper节点，给HA私用。 在实践中建议采用手工切换的方式，这样更可靠，也方便查找问题 ] server.1=master1:2888:3888 server.2=master2:2888:3888 server.3=slave1:2888:3888 server.4=slave2:2888:3888 server.5=slave3:2888:3888
在data目录下创建myid文件，并在对应的机器上填写数字， cd /usr/local/cloud/zookeeper/data/myid 如上配置
拷贝到不同节点里,命令:scp -r /usr/local/cloud master2:/usr/local/ master1 server.1 中的data的myid写入1， master2 server.2 中的data的myid写入2， slave1 server.3 中的data的myid写入3，
slave2 server.4 中的data的myid写入4， slave3 server.5 中的data的myid写入5，
在各个机器下zookeeper目录下的bin目录下执行 cd /usr/local/cloud/zookeeper/bin/ 命令: zkServer.sh start
再运行: zkServer.sh status
如果出现leader 或fllower 则说明集群配置正确。 到此各个配置文件配置完毕
启动Hadoop集群严格按照以下顺序执行
注意: 执行命令启动集群,以下命令严格注意执行顺序，不能颠倒！ 启动zookeeper集群的节点master1,master2,slave1,slave2,slave3执行: /usr/local/cloud/zookeeper/bin/zkServer.sh start /usr/local/cloud/zookeeper/bin/zkServer.sh status
(2) 启动JournalNode集群的节点，在master1，slave1,slave2 /usr/local/cloud/hadoop/sbin/hadoop-daemon.sh start journalnode
(3)在 master1,master2上cd /usr/local/cloud/hadoop/bin/ 下 hdfs zkfc -formatZK 进行格式化创建命名空间
（4.1）在主节点master1上执行格式化一个NameNode /usr/local/cloud/hadoop/bin/hadoop namenode -format nng （4.2）在主节点master1上执行启动namenode主机
/usr/local/cloud/hadoop/sbin/hadoop-daemon.sh start namenode
(5.1)在备主节点master2上执行格式化另一个NameNode /usr/local/cloud/hadoop/bin/hdfs namenode -bootstrapStandby (5.2)在备主节点master2上执行启动namenode备机
/usr/local/cloud/hadoop/sbin/hadoop-daemon.sh start namenode
(6) 在master1和master2两个namenode节点都启动执行以下命令 /usr/local/cloud/hadoop/sbin/hadoop-daemon.sh start zkfc
(7)启动DataNodes
在slave1,slave2,slave3节点启动datanode都执行以下命令 /usr/local/cloud/hadoop/sbin/hadoop-daemon.sh start datanode
或者如下: 在master1或者在master2上执行命令: 会分别启动3个节点的DataNode。 /usr/local/cloud/hadoop/sbin/hadoop-daemons.sh start datanode 这时候HA集群就启动了.
(8) 在主master1主节点启动namenode的yarn框架， 运行start-yarn.sh命令
/usr/local/cloud/hadoop/sbin/start-yarn.sh start yarn
注意:如果是第二次以上执行格式化前就删除以下目录下文件,再次格式化操作 /usr/local/cloud/data/hadoop/dfs/dn/current /usr/local/cloud/data/hadoop/dfs/nn/current /usr/local/cloud/data/hadoop/ha/journal/ /usr/local/cloud/data/hadoop/tmp/
/usr/local/cloud/data/hadoop/yarn/local/ 执行的日志文件:
/usr/local/cloud/hadoop/logs /usr/local/cloud/data/logs/hadoop
jps可以看到 namenode节点
[root@master1 ~]# jps 3960 NameNode
3705 QuorumPeerMain
4176 ResourceManager HA在namenode的进程 4070 DFSZKFailoverController
3839 JournalNode 和namenode通信启用的 4246 Jps
[root@master2 ~]# jps 3407 NameNode 3558 Jps
3512 DFSZKFailoverController 3272 QuorumPeerMain [root@slave1 ~]# jps 3543 DataNode 3623 Jps
3471 JournalNode
3392 QuorumPeerMain [root@slave2 ~]# jps 3128 QuorumPeerMain 3207 JournalNode 3279 DataNode 3349 Jps
[root@slave3 ~]# jps 3281 Jps
3211 DataNode
3139 QuorumPeerMain
这时候，使用浏览器访问 http://master1:50070 和 http://master2:50070
如果能够看到两个页面，证明NameNode启动成功了。这时，两个NameNode的状态都是standby。
实验一下NameNode切换,转换active ,先kill -9 端口号, 干掉NN 切换NameNode的运行状态
在HA模式下，NameNode启动后会直接进入standby模式，可通过以下命令将NameNode切换为active模式 测试
通过两种方式模拟Namenode异常 终止NameNode进程 直接重启active NN
两种方式NameNode状态均切换成功，且保持与client及Datanode端的正常通信。 不同之处在于对于直接kill active NameNode，会有zookeeper主动释放锁，而掉电重启active NN所运行的服务器则需等待zookeeper锁超时方能进行Namenode状态切换，由此在掉电的情景中状态切换的过程更长
查询NameNode状态 执行命令 :
查询nn1的NameNode状态:hdfs haadmin -getServiceState nn1
在指定的name service下的手动切换NameNode的状态: hdfs haadmin -ns [name service] -failover [standby] [active] 如: hdfs haadmin -ns nng -failover nn1 nn2
再使用浏览器访问 http://master1:50070 和 http://master2:50070，
会发现master1的nn1节点变为standby，master2的nn2变成了active。
如果向上传数据，还需要修改core-site.xml中的fs.default.name的值，改为hdfs://master1:9000 才行,用浏览器访问 http://master1:9000 ------------------------------------------------ hbase0.98.1的安装
下载解压# 解压Hbase-0.98.1-cdh5.1.0.tar.gz
（启动双HMaster的配置，master1是主HMaster，master2是从HMaster）、slave1、slave2、slave3（3台HRegionServer） 安装路径如下：
/usr/local/cloud/hbase/
加入环境变量 vim /etc/profile
export HBASE_HOME=/usr/local/cloud/hbase
