Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

2014-06-09  来源:本站原创  分类:数据库其它  人气:4 

Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。

一、我缘何选择CentOS7.0

14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux,对于Hadoop2.X/YARN的环境配置缘何选择CentOS7.0,其原因有:

1、界面采用RHEL7.0新的GNOME界面风,这可不是CentOS6.5/RHEL6.5所能比的!(当然,Fedora早就采用这种风格的了,但是现在的Fedora缺包已然不成样子了)

2、曾经,我也用了RHEL7.0,它最大的问题就是YUM没法用,而且总会有Warning提示注册购买!为此,必须去修改YUM源,还有修改其他的文件使之不提示才能用,看了这么麻烦,想必有很多童鞋滴心就已经凉了4/7了吧!

3、当然,Ubuntu系列我用过Ubuntu14.04/12.04和elementaryOS,不知为何,一用Ubuntu14.04就觉得好丑呀!!但是有很多人都说CentOS和RHEL更丑,但殊不知哪个才是企业级的,那个才是霸主。

另一方面,要求视觉效果的话,建议去装个elementaryOS试试,当然,elementaryOS也有缺陷:它已经许久没有提供更新了,12年推出的,已逾2年未曾发布新版本的系统,也未曾更新网站,与此同时,elementaryOS的模型Ubuntu早就更新换代了,所以,暴露了不少问题,其中麻烦的是不要随意更新系统,否则黑屏,那就真的纯命令行了,漂亮的系统突然被打回原型,那心铁定疤凉疤凉的,而且它更新后的apt-get是无法安装某些匹配某些,所以elementaryOS只供欣赏把玩!

4、也有人用过openSUSE,据说是最华丽的系统,在我看来,花哨的KDE打开文件/软件时显示的一跳一跳的,我心里就痒痒的,没事儿你弄个没用又难看的东东干嘛??干嘛??另外,最新的openSUSE对中文的设计的确无法令人满意。另外,就是openSUSE的环境不怎么熟悉,欧洲人设计的GNU/Linux还有些难适应,当然,我也不打算改旗易帜向欧洲SUSE倒戈。

其实,GNU/Linux版本众多,选择一个适合自己的一款一直玩下去、用下去就足够了,Linux版本众多,设计各有千秋,但使用大同小异,了解“异”点即可!当然,还是奉劝一句:初学者仅仅跑跑虚拟机看看效果就好,莫要将每款都用会了!毕竟,体验也是学习的动力之一!

二、体验CentOS7与之前版本的“异”

初次启动

装完机后,开机进系统的界面换了,乍一看以为是两个内核,原来有一个是rescue选择,而且按e后,会发现所有的grub.conf的信息全出来了,好不容易找到内核启动的地方,写了个 1(要进单用户模式),然后进了rescue模式。

字符界面

进系统后,是图形界面,想进字符界面,结果找到/etc/inittab,发现几乎是个空文件,文件中提示想改runlevel的话,可以把/lib/systemd/system/runlevel*.target 软连到 /etc/systemd/system/default.target下(当然考过来,覆盖也行),试了一下还行,能改到字符界面runlevel3。

配置网络和主机名

然后,想配置网络,进/etc/sysconfig/network-script/一看,我靠,网卡改名了enp1s5,好有趣,配置完网络后改主机名, 到/etc/sysconfig/network去改名字,发现这个文件也是空的,按原6版本的去修改,重启后没效果,man了一下hostname, 发现7中改名要到/etc/hostname去改名字。

本地yum源和挂载

接着,想配置一个本地yum源,配上后要挂光盘,手动挂上了,然后直接echo“mount ......”到rc.local中,毕竟是启动执行脚本,重启之后竟然没挂上,进去rc.local中看了一下,7中竟然要手动的把chmod +x rc.local, 是的,要手动加执行权限,难道我之前装的6以前的系统中这个都要手动加执行权限,我不记得啊!!!! 当然,加了权限后,开机后启动执行了rc.local的mount命令。

LVM和xfs

后来,想着装一个lvm玩玩,于是啊就分区,格式化(特意格式化为了xfs),pv,vg,lv一步一步,都没问题,然后想着放大,缩小,这时出问题了,执行resize2fs时,怎么一直报superblock什么的出错,这是怎么回事,然后man resize2fs一下,发现这命令只支持ext的文件系统,我艹,那我装系统是怎么是lvm的,这个问题我还没解决,应该有解决方法。

dhcp和服务

接着,想着装一个dhcp玩玩,惊奇的发现所有dhcp的包装上之后,不能service dhcpd start,然后发现/etc/init.d/中竟然没一个dhcp类似的东西,毕竟6之前有dhcpd,dhcpd6,dhcrelay的,然后发现 /sbin/dhcpd有启动文件,难道,难道,以后的服务想service启,都要手动自己编?错了,是在/usr/lib/systemd/system/dhcpd.service,还要修改好多,然后加权限,执行service 服务 restart/stop。。。。。。可以,但是指向了systemctl restart/start/stop 服务.service

iptables

又发现iptables这次也不是作为一个服务在/etc/init.d/下面了,/sbin下有;

防火墙由iptables更换成了firewalld

三、系统配置之关闭防火墙

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

systemctl命令的基本操作格式是:
systemctl   动作   服务名.service动作:start,stop,restart,status,enable,disable,is-enabled

四、配置Linux网络

1、修改hostname

CentOS 7.0的hostname在/etc/hostname中用root用户修改:

[[email protected] ~]# vim /etc/hostname    #编辑/etc/hostname[[email protected] ~]# cat /etc/hostname    #查看/etc/hostnamehadoop1[[email protected] ~]#

以前版本的CentOS在/etc/sysconfig/network中用root用户修改:

[[email protected] ~]# vim /etcsysconfig/network

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

"/etc/sysconfig/network"的设定项目如下:

NETWORKING 是否利用网络GATEWAY 默认网关与接下来配置IP的属性文件中默认网关一致IPGATEWAYDEV 默认网关的接口名HOSTNAME 主机名DOMAIN 域名

reboot后hostname生效

2、修改当前机器的IP

Step1:进入配置文件目录

现在已经是root权限了,我们cd到网络配置文件的目录,并列出目录下的文件。

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

Step2:修改配置文件

该目录下,文件名“ifcfg-ens192”文件就是网络配置的主文件。vi它!

修改或添加一下:

ONBOOT=yes  BOOTPROTO=static  IPADDR=IP地址  NETMASK=255.255.255.0 #子网掩码 GATEWAY=192.168.30.1  #网关地址

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

Step3:重启网络服务

修改完配置文件后,:wq!保存退出!然后重启网络。

Step4:测试

通过ifconfig命令查看ip是否设置成功,然后ping一下网络。这个时候应该成功了!

3、修改DNS(看情况,非必选)

若网络环境有DNS要求,则配置,否则,勿配!

格式:

nameserver DNS地址

[[email protected] ~]# vi /etc/resolv.conf
nameserver 202.131.80.1  #依需求而定
nameserver 202.131.80.5  #依需求而定

4、配置hosts文件

"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息,是记载LAN内接续的各主机的对应[HostName和IP]用的。当用户在进行网络连接时,首先查找该文件,寻找对应主机名(或域名)对应的IP地址。

我们要测试两台机器之间知否连通,一般用"ping 机器的IP",如果想用"ping 机器的主机名"发现找不见该名称的机器,解决的办法就是修改"/etc/hosts"这个文件,通过把LAN内的各主机的IP地址和HostName的一一对应写入这个文件的时候,就可以解决问题。

例如:机器为"hadoop1:59.67.107.80"对机器为"hadoop2:59.67.107.79"用命令"ping"记性连接测试。测试结果如下:

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

从上图中的值,直接对IP地址进行测试,能够ping通,但是对主机名进行测试,若没有ping通,提示"unknown host——未知主机",这时查看"hadoop1"的"/etc/hosts"文件内容。

若ping hadoop1不通则显示:

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

若ping hadoop1通则显示:

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

若发现里面没有"59.67.107.79 hadoop2"内容,故而本机器是无法对机器的主机名为"hadoop2" 解析。

在进行Hadoop集群配置中,需要在"/etc/hosts"文件中添加集群中所有机器的IP与主机名,这样Master与所有的Slave机器之间不仅可以通过IP进行通信,而且还可以通过主机名进行通信。所以在所有的机器上的"/etc/hosts"文件末尾中都要添加如下内容:

因为本文以已经配置好的环境说明,所以我的/etc/hosts显示:

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

一般处于内网下,照此添加(192.168.1.1为网关):

192.168.1.2 hadoop1
192.168.1.3 hadoop2
192.168.1.4 hadoop3
192.168.1.5 hadoop4

用以下命令进行添加:

vim /etc/hosts

现在我们在进行对机器为"hadoop2"的主机名进行ping通测试,看是否能测试成功。

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

从上图中我们已经能用主机名进行ping通了,说明我们刚才添加的内容,在局域网内能进行DNS解析了,那么现在剩下的事儿就是在其余的Slave机器上进行相同的配置。然后进行测试。

相关文章
  • Hadoop2.X/YARN环境搭建--CentOS7.0系统配置 2014-06-09

    Hadoop原本来自于谷歌一款名为MapReduce的编程模型包.谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集.使用该框架的一个典型例子就是在网络数据上运行的搜索算法. 一.我缘何选择CentOS7.0 14年7月7日17:39:42发布了CentOS 7.0.1406正式版,我曾使用过多款Linux,对于Hadoop2.X/YARN的环境配置缘何选择CentOS7.0,其原因有: 1.界面采用RHEL7.0新的GNOME界面风,这可

  • Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置 2014-09-27

    在Centos中,进行配置jdk的环境,这个还是折腾了我听挺久的.特别是在一次配置中,导致后来我的root用户无法登录,并且用其他普通用户登录,使用su - root切换到root用户,都无法使用ls这一些普通的命令.由于没有权限,各种更改,都没辙.各种麻烦啊- Hadoop是Java写的,他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK(1.6以上) 原材料:在Oracle官网下载的32位JDK: 说明: 1.CentOS 7.0系统现在只有64位的,但是,H

  • ZF2入门:Windows环境下从零开始Zend Framework 2.0 (ZF2)环境搭建 2012-10-22

    Zend Framework 2.0 (ZF2)正式发布之后不少朋友都进行了尝试,可能由于ZF2涉及到的新特性比较多,有朋友希望能有一篇从零开始Zend Framework 2.0 (ZF2)的教程,于是就有了本篇日志. 以下将记录在Windows环境下,从零开始搭建系统并运行一个ZF2项目的全过程以及所有需要注意的细节.为了简化整个过程,我没有加入Git的安装,改为下载代码,安装环境也使用了傻瓜化的XAMPP. 一.Apache + MySQL + PHP5.4环境搭建 其实PHP5.4已经集

  • iDeveloper3.0 Eclipse+Tomcat开发环境搭建攻略 2015-04-22

    本文主要依据我的另一篇博文,<REST+EJB+JPA 框架在 Eclipse+TomEE 的开发环境搭建>,是针对iDeveloper3.0自身的特殊实现,目前已经简单测试已有功能且都能正常运行,后续再有新的问题发现请及时告知(QQ304679508). 按照目前已有平台代码,在将工程导入到Eclipse中之前需要做如下改动: 1.pom.xml 增加如下依赖: <dependency> <groupId>org.glassfish.jersey.containers

  • Cocos2dx 3.0/3.1.1 正式版本开发环境搭建(Win32/Android) 2014-06-25

    cocos2d-x很多tools都是需要使用Python的,因此我们需要先安装Python环境 python下载:点这里 这里需要下载Python 2.X版本.曾经以为要下载3.x版本 后来装上发现cocos2d-x提供的python运行报错,所以卸载以后重新装的python2.X版本 python安装的时候使用默认安装方式即可,但是安装完毕后我们需要配置环境变量 在我的电脑(右键)->属性->高级系统设置->高级选项卡->环境变量->系统变量 中找到Path 变量,并在其值

  • Hadoop伪分布配置与基于Eclipse开发环境搭建 2014-09-02

    1.开发配置环境: 开发环境:Win7(64bit)+Eclipse(kepler service release 2) 配置环境:Ubuntu Server 14.04.1 LTS(64-bit only) 辅助工具:WinSCP + Putty Hadoop版本:2.5.0 Hadoop的Eclipse开发插件(2.x版本适用):http://pan.baidu.com/s/1eQy49sm 服务器端JDK版本:OpenJDK7.0 以上所有工具请自行下载安装. 2.Hadoop服务端配置(

  • LAMP环境搭建教程 2014-09-18

    学习PHP脚本编程语言之前,必须先搭建并熟悉开发环境,开发环境有很多种,例如LAMP.WAMP.MAMP等.这里我介绍一下LAMP环境的搭建,即Linux.Apache.MySQL.PHP环境.一.首先安装操作系统操作系统:centos6.3I... 学习PHP脚本编程语言之前,必须先搭建并熟悉开发环境,开发环境有很多种,例如LAMP.WAMP.MAMP等.这里我介绍一下LAMP环境的搭建,即Linux.Apache.MySQL.PHP环境. 一.首先安装操作系统 操作系统:centos6.3

  • Python学习笔记(一)(基础入门之环境搭建) 2014-02-26

    本系列为Python学习相关笔记整理所得,IT人,多学无害,多多探索,激发学习兴趣,开拓思维,不求高大上,只求懂点皮毛,作为知识储备,不至于落后太远.本文主要介绍Python的相关背景,环境搭建. Python入门 本系列为Python学习相关笔记整理所得,IT人,多学无害,多多探索,激发学习兴趣,开拓思维,不求高大上,只求懂点皮毛,作为知识储备,不至于落后太远. 本文主要介绍Python的相关背景,环境搭建. 一.了解Python 1,关于Python的语言特点: 借用Python官网Http

  • Laravel框架学习笔记(一)环境搭建 2014-07-07

    本文主要是把自己学习Laravel框架中的经验写下来.这是本系列的第一篇,工欲善其事必先利其器,先把环境搭建好吧,之前也没写过什么文章,可能文章结构比较混乱,想到那写到哪. 为什么选择laravel框架,是因为laravel框架目前是Php最流行的框架,深入研究后发现和asp.net mvc框架在功能上基本上是伯仲之间.只是各自的实现方法不同. php在windows下的开发环境搭建 1.下载php地址http://windows.php.net/download/注意相关版本,我的服务器用的i

  • android开发环境搭建详解(eclipse + android sdk) 2014-08-10

    这篇文章主要介绍了android开发环境搭建详解(eclipse + android sdk),需要的朋友可以参考下 本开发环境为:eclipse + android sdk,步骤说明的顺序,没有特别要求,看个人爱好了 步骤说明: 1.安装eclipse 2.配置jdk 3.安装android sdk 4.安装ADT,关联eclipse和android 详细说明: 1.安装eclipse * 到官方网下载eclipse(http://www.eclipse.org/downloads/),我是下

  • Android开发环境搭建 2014-08-12

    本文详细介绍了Android开发环境搭建,十分的详尽,图文并茂,有需要的小伙伴参考下. 1 软件下载 (1) JDK : http://www.oracle.com/technetwork/java/javase/downloads/index.html (2) Eclipse :http://www.eclipse.org/downloads/ (3) Android SDK : http://developer.android.com/sdk/index.html 下载:installer_

  • Android开发环境搭建:Android开发之旅环境搭建及Hello World 2014-10-03

    引言 本系列适合0基础的人员,因为我就是从0开始的,此系列记录我步入Android开发的一些经验分享,望与君共勉!作为Android队伍中的一个新人的我,如果有什么不对的地方,还望不吝赐教. 在开始Android开发之旅启动之前,首先要搭建环境,然后创建一个简单的HelloWorld.本文的主题如下: 1.环境搭建 1.1.JDK安装 1.2.Eclipse安装 1.3.Android SDK安装 1.4.ADT安装 1.5.创建AVD 2.HelloWorld 1.环境搭建 1.1.JDK安装

  • Windows环境下PHP开发环境搭建 - 图文完全教程 2014-10-17

    <PHP开发环境搭建> 一般windows服务器下,用iis+php,unix/linux服务器用 ngnix或apache+php 基于Windows环境下的PHP开发环境搭建 (apache+mysql+php) 一.准备工作 Apache2.2.11 下载地址:http://www.apache.org MySQL5.0 下载地址:http://www.mysql.com PHP5.2.9 下载地址:http://www.php.net 二.配置PHP 1. 将php-5.2.9-win

  • Win2008 R2 IIS7.5+PHP5(FastCGI)+MySQL5环境搭建教程 2014-12-24

    现在很多朋友想尝试win2008 r2来跑web服务器,跟win2003相比界面差别有点大,有些人可能不太习惯,不过以后是趋势啊,这里简单分享下,方便需要的朋友 准备篇 一.环境说明: 操作系统:Windows Server 2008 R2 PHP版本:php 5.4.4 MySQL版本:MySQL5.5.25 二.相关软件下载: 1.PHP下载地址: http://windows.php.net/downloads/releases/php-5.4.4-nts-Win32-VC9-x86.zi

  • ubuntu lamp(apache+mysql+php) 环境搭建及相关扩展更新 2015-02-01

    ubuntu lamp(apache+mysql+php) 环境搭建及相关扩展更新,需要的朋友可以参考下. 一.环境安装 1.安装apache2 sudo apt-get install apache2 安装后在浏览器中打开:http://localhost/或者http://127.0.0.1 如果出现It works!证明apache安装成功. 2.安装PHP sudo apt-get install php5 sudo apt-get install libapache2-mod-php5

  • win2008 php运行环境搭建图文教程 2015-03-07

    windows server 2008是基于NT6 平台的新型操作系统,其对硬件性能的发挥比起其它NT平台来说有了质的飞跃,已经开始普及到了广大用户中,而且操作较2003来说更为直观和简单,受到越来越多的好评.在这里我们要介绍windows server 2008中的php环境搭建 windows server 2008是基于NT6 平台的新型操作系统,其对硬件性能的发挥比起其它NT平台来说有了质的飞跃,已经开始普及到了广大用户中,而且操作较2003来说更为直观和简单,受到越来越多的好评.在这里

  • ssh项目环境搭建步骤(web项目) 2015-03-20

    这篇文章主要介绍了ssh项目环境搭建步骤(web项目),需要的朋友可以参考下 一.创建Web项目 二.加入Struts2支持(Struts-2.3.1.2版本) 1. 拷贝相关jar包到lib目录下 (1) struts2-core-2.3.1.2.jar (2) xwork-core-2.3.1.2.jar (3) ognl-3.0.4.jar (4) freemarker-2.3.18.jar (5) commons-logging-1.1.1.jar (6) commons-io-2.0.

  • Win2012 R2 IIS8.5+PHP(FastCGI)+MySQL运行环境搭建教程 2015-05-04

    这篇文章主要介绍了Win2012 R2 IIS8.5+PHP(FastCGI)+MySQL运行环境搭建教程,需要的朋友可以参考下 准备篇 一.环境说明: 操作系统:Windows Server 2012 R2 PHP版本:php 5.5.8 MySQL版本:MySQL5.6.15 二.相关软件下载: 1.PHP下载地址: http://windows.php.net/downloads/releases/php-5.5.8-nts-Win32-VC11-x86.zip 2.MySQL下载地址:

  • Floodlight+Mininet搭建OpenFlow(一):环境搭建 2014-04-05

    本文主要介绍了在没有OpenFlow硬件设备的情况下如何搭建一个OpenFlow环境. 国外有高手也写了一份文档: How to Build an SDN Lab without Needing OpenFlow Hardware http://networkstatic.net/2012/07/how-to-build-an-sdn-lab-without-needing-openflow-hardware/ 上面这个是采用OpenvSwitch作为OpenFlow交换机加上KVM虚拟出hos

  • Android原生(Native)C开发之一 环境搭建篇 2009-10-10

    转载: 转载: Android原生(Native)C开发之一 环境搭建篇 Android是基于Linux的操作系统,处理器是ARM的,所以要在Linux或Windows等x86系统上编译Android能运行的程序,你需要一个交叉编译器. 在Linux下面,你可以自已编译一个交叉编译环境,但Windows下面,就比较复杂(也可以在cygwin中编译一个),但你可以选择下载一个现成的交叉编译环境: http://www.codesourcery.com/gnu_toolchains/arm/down