博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
配置Hadoop1.2.1
阅读量:5167 次
发布时间:2019-06-13

本文共 1356 字,大约阅读时间需要 4 分钟。

1.从Apache官网上下载1.2.1,地址:http://apache.dataguru.cn/hadoop/common/
2.拷贝文件到虚拟机下(vm9下直接拖拽就可以)
3.到Hadoop的目录下的conf找到hadoop-env.sh,找到这行:# export JAVA_HOME=/usr/lib/j2sdk1.5-sun,解注并改成JAVA正确的路径
4.修改core-site.xml。默认只有,需要修改成为:
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
/home/master/hadoop-1.2.1/tmp
注:要在hadoop下新建tmp文件夹,用于存放临时文件,如果不设置,hadoop默认成/tmp文件夹,这样重启后hadoop就会报错
5.修改hdfs-site.xml.默认只有,需要修改成为:
dfs.replication
2
6.修改mapred-site.xml.默认只有,需要修改成为:
mapred.job.tracker
master:9001
7.修改masters,改成master(主机名)
8.修改slaves,改成slave1(主机名)
9.切换到root用户下,修改/etc/hosts文件,增加master和slave1的IP
192.168.37.1    master
192.168.37.2    slave1
10.配置完成之后,ping master和ping slave1
11.把master节点下配置好的hadoop复制到slave1节点下:scp -r ./hadoop-1.2.1 slave1@slave1:/home/slave1
12.修改slave1节点下的/etc/hosts文件和master节点一致
192.168.37.1    master
192.168.37.2    slave1
13.格式化名称节点,即master节点,切换到hadoop目录,执行命令:bin/hadoop namenode -format
14.在正式启动hadoop之前,要把自己的公匙放到authorized_keys,这样自动连自己才会不用输入密码。方法是:
cat id_rsa.pub 然后把里面的内容复制出来,vi authorized_keys 把内容粘到里面,保存;两台机器都一样的做法。
15.改完之后,ssh master,看看是否还需要密码
16.如果之前已经运行过启动hadoop,但因为14没有做,需要把hadoop的进程杀掉,方法:进行JAVA主目录,
运行./bin/jps命令,看有哪些hadoop的进程在运行,然后用kill -9 11133把屏幕显示的进程杀掉,这样才能顺利的启动。
17.最后启动:bin/start-all.sh
18.检查hadoop是否安装成功:在JDK目录下运行-bin/jps,出现
11002 SecondaryNameNode
10832 NameNode
11076 JobTracker
11237 Jps
说明安装成功
 
 

转载于:https://www.cnblogs.com/chen-lhx/p/6867109.html

你可能感兴趣的文章
人工智能-baidu-aip语音合成(文字转语音)
查看>>
float型数据与字节数组的转化
查看>>
装饰器模式
查看>>
java 包和访问权限 小练习3
查看>>
b+树索引和explain
查看>>
git rebase
查看>>
.NET程序与CA对接一直提示重定向
查看>>
Mybatis 中的转义字符及常用查询
查看>>
solidworks转dxf
查看>>
[每天进步一点 -- 流水账]第1周
查看>>
java中延时队列实例
查看>>
ipython使用
查看>>
Image Lazy Load:那些延时加载图片的开源插件(jQuery)
查看>>
[HNOI2006]鬼谷子的钱袋
查看>>
.net弹出框
查看>>
成为理想的自己
查看>>
VB窗体半透明的方法
查看>>
ElasticSearch(十五) 基本概念
查看>>
[SPM2017] Hw1: The outcome of my project [Deadline: 23:59:59, Mar.1, 2017]
查看>>
【Java框架型项目从入门到装逼】第六节 - 用ajax请求后台数据
查看>>