实战Hadoop和HBase 4台Linux虚机环境下安装部署全过

日期:2015-02-12 / 人气: / 来源:网络

本文注重实际安装配置,主要用于指导未使用的hadoop 的技术人员,部署Hadoop 和HBase 学习环境。本次测试采用4 台虚拟机,操作系统为RHEL 6.2。

文章说明

在部署Hadoop 集群时,有一些需要注意的地方。了解这些地方,可以减少部署失败的概率,这些内容需要大家注意。

测试环境需要使用RHEL6.2。在使用PST 组提供的测试服务器,使用SUSE 11 时出现JAVA 不能运行现象,使用RHEL 6.4 可以解决JAVA 运行问题,但在启动Hadoop 集群中,namenode 一直未能成功启动,原因暂时未分析。

需要在/etc/hosts 文件中,配置服务器IP 和主机名,保证用hostname 返回的主机名和IP 地址对应。

示例如下:

[[email protected] ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.62.15 rhel6205

192.168.62.16 rhel6206

192.168.62.17 rhel6207

192.168.62.18 rhel6208

[[email protected] ~]#

需要使用64 的安装包。注意:从hadoop 官网下载的安装包,是32 位的lib 库,运行时,会存在问题。对于从官网下载的zookeeper 和HBase 安装文件,未发现64 位问题。

Hadoop 和HBase 在启动时,只需要在namenode 启动即可,zookeeper 需要在每个节点上运行启动脚本。

配置zookeeper 时,每个节点的myid 不同,该id 需要参考zoo.cfg 文件中的Server配置部分。

安装Hadoop

创建用户

创建hadoop 用户,并设置密码为111111。

[[email protected] ~]# useradd hadoop

useradd: user 'hadoop' already exists

[[email protected] ~]# passwd hadoop

Changing password for user hadoop.

New password:

BAD PASSWORD: it does not contain enough DIFFERENT characters

BAD PASSWORD: is a palindrome

Retype new password:

passwd: all authentication tokens updated successfully.

[[email protected] ~]#

依次在192.168.62.15、192.168.62.17、192.168.62.18 上创建hadoop 用户。

建立互信

使用python 脚本ssh_rebuild.py 建立互信。

使用脚本建立互信前,请确保每个节点安装了Python。为了减少部署失败的情况,可以尝试在一个安装GBase 8a 集群的环境中,尝试安装Hadoop 集群。GBase 8a 集群在安装时,对系统环境变量和Python 均进行了部署,对于初学者,可以大大减少Hadoop 部署失败的几率。

[[email protected] ~]# su - hadoop

[[email protected] ~]$ ls

[[email protected] ~]$ cd setup

[[email protected] setup]$ ll *.py

更多内容请下载实战Hadoop全文pdf版本

大数据书籍之《精通 HADOOP》Pro Hadoop下载及在线阅读目录

精通 HADOOP一书是由罗伯特.李翻译自英文书 (英文原版下载),原书作者是Jason Venner。这是一部很专业的大数据数据,由浅入深全面介绍了HADOOP的相关概念,系统核心原理以及众多的应用实例。

精通hadoop,大数据数据,hadoop数据

作者:管理员




现在致电4006-2991-90 OR 查看更多联系方式 →

Go To Top 回顶部