24

在Centos7下搭建大数据环境,即Zookeeper+Hadoop+HBase

 4 years ago
source link: http://www.cnblogs.com/curie/p/12634319.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

1. 所需软件下载链接(建议直接复制链接到迅雷下载更快):

①hadoop-2.7.6.tar.gz:

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz

②zookeeper-3.4.12.tar.gz:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

③hbase-1.2.6-bin.tar.gz:

wget http://mirror.bit.edu.cn/apache/hbase/1.2.6/hbase-1.2.6-bin.tar.gz

注:hadoop与hbase版本有对应性,具体可参考apache官网:http://hbase.apache.org/book.html#quickstart,在页面上页面搜索:Hadoop version support matrix

④jdk-8u171-linux-x64.tar.gz:

链接:https://pan.baidu.com/s/1fEK_ArfqfpVa5lNj8cGGKg

提取码:ky0x

2. 安装教程

①安装hadoop参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

②安装zookeeper参考教程:https://www.cnblogs.com/frankdeng/p/9018177.html

③安装hbase参考教程:https://www.cnblogs.com/frankdeng/p/9047698.html

3. 注意事项

3.1 在参考hadoop安装教程时:

①首先要先卸载Centos本身自带的openjdk,参考这位博主的卸载教程:

https://www.cnblogs.com/happyflyingpig/p/8068020.html

(不卸载应该也可以吧,您可以试一下先不卸载,装好jdk,再改好/etc/profile中的JAVA_HOME重新编译生效后,输入java -version试试版本对了没。)

②步骤1.4:如果是以root用户安装环境时,即当前目录为~时:应当 直接

cd /opt

/opt是根目录下的opt,并在该目录下创建相应module、software文件夹,而不是先mkdir opt,再cd opt(这是root用户下的opt),如果您已经先mkdir opt了的话,JAVA_HOME应该为: /root/opt/ module/jdk1.8,而不是 /opt/ module/jdk1.8

总结:

cd /opt:根目录下的opt

cd opt:当前登录用户下的opt

③步骤2:向其他节点复制jdk时,改用该命令更好:

scp -r /opt/module/jdk1.8 root@node22:/opt/module

3.2 在参考教程时:

一定要尽量都下载我上面提供的版本 ,因为我试过好几个hadoop、hbase、jdk的版本,存在好多不兼容情况,比如:我之前使用的jdk1.8_202版本,在我搭建完这些环境后,总有一些问题如java.net.connect ion拒绝连接什么的,后面我换成了jdk1.8_171就好了。

4. 最后

上述搭建大数据环境的三个教程为同一个博主 @Frankdeng 编写,更具统一性,安装起来更有参考性(其实是复制粘贴起来更方便hhh),非常感谢参考教程的博主!

上述主要参考教程的博主地址:https://www.cnblogs.com/frankdeng/


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK