博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop的部署总共有3种类型
阅读量:4185 次
发布时间:2019-05-26

本文共 1479 字,大约阅读时间需要 4 分钟。

基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了 

新版本解决了1.x中的NameNode,JobTracker单点故障问题,使用yarn统一了分布式开发的集群平台,给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop,那么散仙今天伪分布式的部署,使用的是Apache1.2的hadoop稳定版本,关于2.x的hadoop的部署,散仙会在后面的文章中给出例子。下面进入正题。
hadoop的部署总共有3种类型,分别是单机版,单机伪分布式版,以及完全分布式集群三种类型,只要熟悉一些Linux的一些基本操作就能很快上手,当然前提是你还有一定的Java基础,毕竟Hadoop的就是用Java编写的。
关于JDK环境变量的设置及SSH无验证登陆的配置(可以参考的我的上一篇文章),散仙就不在这里详细说明了,
网上搜一下,有很多讲解的。单机版以及伪分布式的部署,只需要一个节点即可,首先我们要在在设置主机名,使用vi /etc/sysconfig/network 进行修改并保存。
然后,我们在hosts文件里配置,主机名与IP的映射关系
使用命令 vi /etc/hosts进行保存修改即可
然后拷贝已经下载的好的hadoop压缩包,至根目录,并解压,首先我们需要配置的是在conf下的hadoop-env.sh这个文件,使用vi  hadood-env.sh进行取消注释的JAVA HOME,然后把我们自己的JDK路径设置上,并保存
接下来需要配置的是conf下的core.site.xml这个文件
,添加
<property>
<name>fs.default.name</name>
<value>hdfs://Master:9000</value>
</property>
下一步需要配置的是hdfs的副本个数,因为我们是单机的所以副本数应该为1,默认是3,如果节点数比3少那么hadoop会启动报错。编辑文件
hdfs.site.xml添加
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
到这一步,其实已经可以启动HDFS的集群了,但是为了演示完整,我们把JobTracke也配置一下。编辑文件mapred-site.xml添加
<property>
<name>mapred.job.tracker</name>
<value>Master:9001</value>
</property>
到此步,我们已经配置完毕,再准备启动我们的集群前,还有一项重要的工作要做,就是需要格式化我们的namenode,进行hadoop根目录,然后执行bin/hadoop namenode -format即可
现在就可以启动我们的hadoop了,执行命令,
bin/start-all.sh
使用JPS命令查看端口情况,检测启动是否成功
最后,为了方便测试,散仙把防火墙关闭了,如果是在生产环境中,可以在IP里设置Hadoop的对外开放端口,千万不能关闭防火墙,很危险的一件事,当然我们这里是测试,才这么做的,执行命令  service iptables stop
最后,我们在Win上访问Linux的服务,访问地址如下
:master:50030,以及master:50070,查看Hadoop的Web管理页面。
至此,我们的伪分布式模式就部署成功了,如果想要停止集群服务,可以使用bin/stop-all.sh命令,来停止服务。

转载地址:http://myjoi.baihongyu.com/

你可能感兴趣的文章
深度解析BAT三家互联网公司,为什么腾讯产品第一,百度技术第一,阿里运营第一?
查看>>
程序员发贴求助:剪短头发能缓解脱发吗?网友:我觉得秃头挺好的
查看>>
史上最难程序员的面试题!谷歌、百度、微软、阿里必答题
查看>>
为什么会出现“程序员千万不要学算法”这种言论?
查看>>
程序员如何做到快速升职?这几点你都做到了吗?
查看>>
第五届世界互联网大会重点介绍工业互联网
查看>>
凭什么程序员工资那么高?网友:某些文职坐着白领钱才让我惊奇
查看>>
程序员准时下班碰见领导,次月发工资时看到绩效莫名被扣20%
查看>>
你见过最牛逼的程序员是什么样的?拳打回车键,脚踩Emacs编辑器
查看>>
相比加班的程序员,企业更喜欢“偷懒”的程序员?程序员偷的不是懒,是高效!
查看>>
初学Java必备基础知识,编程领域你需要掌握的关键点!
查看>>
阿里五年Java程序员的总结,献给还在迷茫中的你!
查看>>
程序员身上有异味,同事为什么都不会直接告诉他?
查看>>
大数据折射算法“歧视”?王思聪微博抽奖113位,仅有一位男性
查看>>
Java、C、C+ +、PHP、Python分别用来开发什么?一篇文章告诉你!
查看>>
Linux-SHELL常用命令
查看>>
Linux-网络运维基础
查看>>
Linux网络运维-SSH
查看>>
Linux网络运维 -- 配置DHCP服务器
查看>>
Android开发问题记录
查看>>