先电大数据平台操作手册-XianDian-BigData-v2.1 - 图文

南京第五十五所技术开发有限公司

先电大数据平台

用户手册

版本：先电 Cloud-BigData-v2.1 发布日期：2017年02月21日

南京第五十五所技术开发有限公司

1

版本修订说明

修订版本 XD-BigData-v1.3 XD-BigData-v1.3.1 修订时间 2015年10月28日 2016年1月19日 修订说明 先电大数据平台用户册 增加GRE、VLAN网络的部署方法 XD-BigData-v1.4 2016年4月12日 为防止与Java Web中MapReduce开发混淆。删除hadoop案例开发 XD-BigData-v2.0 2016年11月1日 更新基于Ambari版本 2.2.2.0二次开发的hadoop平台 XD-BigData-v2.0.1 2016年12月30日 更新镜像中与perl版本不兼容问题的解决办法； XD-BigData-v2.0.2 2017年01月10日 升级系统版本为centos7，升级HDP版本至2.4。 XD-BigData-v2.0.3 XD-BigData-v2.0.5 2017年02月13日 2017年02月21日 更新软件包logo 更新软件包logo，修改文档“8.2.2基于项目的协同过滤” 表格参数 XD-BigData-v2.1 2017年04月21日 更新用户手册

2

南京第五十五所技术开发有限公司

目 录

1

概述 ............................................................................................................................................5 1.1 1.2 2

大数据简介 ................................................................................................................5 先电大数据平台简介 .................................................................................................5

基本环境配置 ............................................................................................................................6 2.1 2.2 2.3 2.4 2.5 2.6 2.7

配置主机名 ................................................................................................................7 修改hosts文件 ..........................................................................................................7 修改yum源 ...............................................................................................................7 配置ntp ......................................................................................................................8 配置SSH ....................................................................................................................9 禁用Transparent Huge Pages .....................................................................................9 安装配置JDK ..........................................................................................................10

3 配置ambari-server ................................................................................................................... 11 3.1 3.2

安装MariaDB数据库 ............................................................................................. 11 安装配置ambari-server ...........................................................................................12

4 5

配置ambari-agent ....................................................................................................................14 部署管理Hadoop集群 ............................................................................................................14 5.1 5.2 5.3

部署Hadoop集群 ....................................................................................................14 HDFS运维管理 .......................................................................................................21 MapReduce ...............................................................................................................31

6 部署Hive数据仓库 .................................................................................................................32 6.1 6.1

部署Hive ..................................................................................................................32 Hive用户指南 ..........................................................................................................34

7 部署Hbase分布式列数据库 ...................................................................................................49 7.1 7.2 7.3

部署HBase ...............................................................................................................49 测试验证 ..................................................................................................................51 HBase用户指南 .......................................................................................................51

第 3 页 共 79 页

南京第五十五所技术开发有限公司

8 部署Mahout数据挖据工具 ....................................................................................................59 8.1 8.2

部署Mahout .............................................................................................................59 测试验证 .................................................................................. 错误！未定义书签。

9 部署Pig数据分析平台 ...........................................................................................................63 9.1 9.2 9.3

部署Pig ....................................................................................................................63 Pig简介 ....................................................................................................................64 运行案例 ..................................................................................................................66

第 4 页 共 79 页