centos+虚拟机配置hadoop2.5.2-前期准备

之前写了一个《storm的配置以及实例实践》系列文章,系列第一篇:《storm的配置以及实例实践-前言》。

也运行了一个简单的例子,对storm这个框架有了大概的了解,之后可以在此框架上写一写代码,加深理解。

其实我们接触大数据处理框架,听得最多的还是hadoop,今天就在之前配置的基础上,继续配置hadoop,进行相关的学习。

稍微提一下之前的配置:三台虚拟机,系统为centos6.5,均配置了静态的ip以及对应的主机名,今天要配置的是hadoop2.5.2,可以去http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/  下载。

正式配置之前,需要做一些前期的准备。

确认主机名以及能互相ping通

命令行输入

vim /etc/sysconfig/network

确认设置了主机名,需要检查三台虚拟机是否有设置。比如我的三台虚拟机是这样的,hostname为主机名:
hostname设置

设置对应的ip地址与主机名的映射:

vim /etc/hosts

如图:
主机名与ip的映射

直接用主机名来互相ping一下,看一下能不能ping通。如果不能,请看一下配置文件是否正确,用source命令使配置生效。如下图,就是能ping通。

主机间互相ping

多说一句,这个步骤是为了保证之后hadoop能正确执行分布式任务,如果ping不通,谈何分布式任务。

设置免密码登陆ssh

为了方便,我们可以设置免密码登陆ssh。以下步骤在主节点主机执行即可。

本机免密码登陆ssh,生成公钥文件authorized_keys,命令如下,出现提示直接回车下一步即可:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys 

测试一下本机是否可以无密码登陆ssh,如果不需要密码则成功了:
本机ssh无密码登陆

除了本机无密码登陆ssh,我们也要设置本机(主节点)免密码ssh登陆另外两台主机,其实很简单,只需要复制刚才生成的公钥文件authorized_keys到另外两台主机就行了,可以通过各种方式复制,也可以直接在命令行输入以下命令,把ip更改为你的子节点ip就行了:

scp authorized_keys root@192.168.254.101:/root/.ssh/
scp authorized_keys root@192.168.254.102:/root/.ssh/ 

测试本机是否可以无密码通过ssh登陆子节点:

ssh root@192.168.254.101 

无需密码登陆就成功了。

大概的前期准备工作就完成了,下一篇继续讲怎么配置hadoop2.5.2。

发表评论

电子邮件地址不会被公开。 必填项已用*标注