storm的配置以及实例实践-克隆虚拟机

在之前,我们已经把storm的运行环境、相关依赖都安装好了,不知道你还记不记得《storm的配置以及实例实践-设置虚拟机网络》这篇文章,讲的是虚拟机配置网络的事情。同样的,我们现在要做的事情是利用虚拟机来模拟集群,所以,每台虚拟机都需要配置自己的网络。

或许你已经被之前的配置步骤搞的晕头晃脑了。在这里先告诉你,你不需要重新这些步骤了,我们现在要做的,就是直接在虚拟机里面克隆系统,再稍微配置一下网络即可。

克隆虚拟机的过程非常简单。

把虚拟机中的系统关机,选中配置好的那部虚拟机,然后点击菜单的“虚拟机”–“管理”–“克隆”,按照步骤进行克隆即可。需要注意的一点是,步骤中有一步要你选择克隆的类型,选择创建完整克隆。如下图:

创建完整克隆

等待克隆完毕即可。

接下来配置网络。

首先命令行键入

ifconfig -a

找到HWaddr,把它的值复制下来,我的是00:0C:29:d3:8e:e9,这个就是我们新虚拟机的mac地址。

接下来修改 /etc/sysconfig/network-scripts/ifcfg-eth0
内容如下:

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.101
NETMASK=255.255.255.0
HWADDR="00:0C:29:d3:8e:e9"

上面的代码中,高亮的是要修改的。其中第4行,改ip,因为第一台主机设置的是192.168.129.100,所以这一台改成192.168.129.101;第6行,mac地址,把刚才复制的mac地址弄进来即可。

接着更改主机名

vim /etc/sysconfig/network

把hostname改一下

HOSTNAME=sub01

然后更改网卡:

vim //etc/udev/rules.d/70-persistent-net.rules

把第二行的用#注释掉,然后把ATTR{address}更改一下,改成我们的mac地址。如下图:
更改网卡

搞定。如法炮制,然后再克隆第三台虚拟机,一个简单的集群就搭建起来了。

storm的配置以及实例实践-设置虚拟机网络

在虚拟机安装完centos之后,事实上我们已经可以开始动手配置安装storm相关的软件或者依赖了。但是想想,我们是在本地上进行开发测试,面对几台虚拟机,我们不可能每次都跑到虚拟机里面打开命令行,然后进行相关操作。所以,后面我会介绍到一个比较常用的ssh连接工具securecrt,它允许我们在本地连接多台远程服务器。

假如我们的ip是变化的,而虚拟机默认的NAT网络连接模式中的DHCP机制会让虚拟机里的系统ip发生变化,因此,为了方便起见,我们需要将虚拟机的网络进行设置,改成静态ip,这样我们每次通过外部工具连接虚拟机的时候就不必要更改ip了。下面说说怎么更改。

过程我是从http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html中学习的,因此在这里引用一下,并加上一些自己的解释。

首先关闭VMware的DHCP:

Edit->Virtual Network Editor1

选择VMnet8,去掉Use local DHCP service to distribute IP address to VMs选项。点击NAT Settings查看一下相关的网络地址,如下:

2

将这三个地址截图或者记事本记下来,Subnet IP是子网地址,Subnet mask是子网掩码,Gateway IP是网关地址。

然后就可以到centos里面设置静态ip了。

涉及到3个文件

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/hosts

首先修改/etc/sysconfig/network
第二行是主机名,可以根据需要修改,我就改成了main,第三行是网关地址,填写上文提到的网关地址,如下:

NETWORKING=yes
HOSTNAME=main
GATEWAY=192.168.129.2

然后修改/etc/sysconfig/network-scripts/ifcfg-eth0
下图高亮的都是修改过的,其中需要注意的是以下几点:

第四行IPADDR,指的是ip地址,这里就设置成你要的ip地址,但是需要和你的ip子网相匹配,也就是说,回到上文Subnet IP,子网地址是192.168.129.0,我们只需更改最后一位即可,我这里改成了192.168.129.100,同样照葫芦画瓢,我们之后再建立虚拟机的时候,就分配192.168.129.101,依次类推;

第五行NETMASK,子网掩码,把上文中提到的子网掩码加进去即可。

最后一行的DNS1,是指定DNS服务器,DNS是域名解析服务器,如果不填写则会无法解析域名,我们可以填写自己电脑上的DNS,也可以填写百度的公共DNS:180.76.76.76,我这里就是用的百度的。

DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
IPADDR=192.168.129.100
NETMASK=255.255.255.0
HWADDR="00:0C:29:56:8F:AD"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ba48a4c0-f33d-4e05-98bd-248b01691c20"
DNS1=180.76.76.76

最后修改/etc/hosts

最后一行加入:ip和主机名,根据你之前的设置填写即可

192.168.129.100   main

设置完毕以后,reboot一下虚拟机。

最后,我们再来关闭防火墙,由于是在虚拟机上面进行试验,所以为了方便起见,把防火墙关了,但在实际的生产环境中,是要对机器的防火墙进行详细的配置的,这里不多说。 下面说下关闭防火墙的步骤。

在终端依次输入以下两条命令即可:

service iptables stop 
chkconfig iptables off

然后输入service iptables status查看一下状态,会显示Firewall is not running。

至此,虚拟机网络的设置已经搞定,下一篇继续讲配置。

storm的配置以及实例实践-安装虚拟机

由于storm是一个分布式的计算框架,在实际的开发环境中是基于集群的,通常有一个主节点,分发任务给子节点,没错,和hadoop是类似的。那我们在自己学习以及调试的过程中,往往是没有真实的服务器集群给我们使用的,那么,虚拟机就是一个不错的选择。我在本地打算搭建3个虚拟机,来模拟三台服务器。下面说说安装虚拟机的过程。

首先安装vmvare,我装的版本是vmvare10,网上也有序列号,装完之后输入即可完成注册。这里就不细说了。

随后,就是在虚拟机里面安装系统了。我安装的是CentOS 6.5_X64,是64位的,根据你的电脑选择即可。

先下载iso文件:http://www.centoscn.com/CentosSoft/iso/2013/1205/2196.html

下载完成之后,打开vmvare,点击新建虚拟机,选择典型安装。然后选择安装iso,把刚才下载的centos系统的iso文件选择进来,根据实际情况设置内存大小(之后也可以更改),然后下一步下一步下一步安装系统即可,非常简单。需要注意的一点是,你需要记住你的用户密码。

之后就等待安装即可,有时候系统提示你选择不要忘了选择。大部分时间是等待。

centos系统安装

等待1个小时左右,系统就安装完毕了,可能用惯windows的朋友会不大习惯,不过,熟悉linux对搞大数据开发还是很有必要的,因此我们之后的操作基本上都是要通过命令行来完成,所以暂时忘掉那些界面吧!当然,默认安装的centos6.5是有操作界面的。就这样,一个虚拟机就安装完成了,接下来,我们就需要对它进行配置,最后再克隆两份即可。

下一篇讲配置,配置还是有很多内容的。