Spark集群搭建与测试 - 图文

该目录是我们在spark-defaults.conf中指定的（事实上，若不指定spark.eventLog.dir和spark.history.fs.logDirectory，你也无法启动historyserver，因为系统不知道去哪里存储你的history信息）

我们只需使用hdfs命令hdfsdfs -mkdir -p /historyserverforspark来创建该目录，再启动historyserver,jps可见多了个historyserver进程：

f. 使用webUI来查看historyserver是否成功启动http://master:8080

注1：start-all.sh其实质是先后执行了start-master.sh和start-slaves.sh:

最佳实践是：在master节点上执行start-all.sh.