網上和很多書上都有不少的hadoop在linux系統下的安裝教程,但是嘗試過的讀者會發現,就算是按照這些教程一步步的操作,還是會在某個地方出錯,主要原因是版本問題。尤其是書上的版本一般都較老,所以并不建議對著書上的教程來操作,但是可以作為參考。下面給出我自己親身實踐的安裝過程,盡量把我知道的原理也寫出來,這樣就算有些步驟出現問題,知道了原因也是很容易解決的,就怕出現問題了,還不知道問題出在哪?
下面的代碼都是在ubuntu的命令窗口(terminal)中輸入:
1.工具準備:
1.1 更新apt-get:在命令行窗口中使用apt-get安裝軟件很方便;
1.2 安裝vim:配置文件。
根據輸出結果,需要輸入“Y”來繼續。
2.創建hadoop用戶:
2.1增加hadoop用戶:創建 hadoop 用戶,并使用 /bin/bash 作為 shell
sudo useradd -m hadoop -s /bin/bash
2.2設置密碼,按提示輸入兩次密碼:
2.3為 hadoop 用戶增加管理員權限:
3.安裝SSH、配置SSH無密碼登陸
集群、單節點模式都需要用到 SSH 登陸(類似于遠程登陸,你可以登錄某臺 Linux 主機,并且在上面運行命令),Ubuntu 默認已安裝了 SSH client,此外還需要安裝 SSH server:
sudo apt-get install openssh-server
安裝后,可以使用如下命令登陸本機:
4.安裝java環境
4.1安裝jdk:
sudo apt-get install openjdk-8-jre openjdk-8-jdk
4.2配置JAVA_HOME
dpkg -L openjdk-8-jdk | grep '/bin/javac'
該命令會輸出一個路徑,除去路徑末尾的 “/bin/javac”,剩下的就是正確的路徑了。如輸出路徑為 /usr/lib/jvm/java-8-openjdk/bin/javac,則我們需要的路徑為 /usr/lib/jvm/java-8-openjdk。
如果這里輸出錯誤,那我們怎么知道JAVA_HOME的地址呢?很簡單,輸入:
輸出:usr/lib/jvm/java-8-openjdk/jre/lib/rt.jar
則前面的usr/lib/jvm/java-8-openjdk就是JAVA_HOME的地址。
然后,使用命令 sudo gedit /etc/profile 打開 /etc/profile 文件:
然后在文件末尾添加如下三行:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk
CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
然后ctrl+s保存。然后執行如下代碼,使更改生效:
如果JAVA_HOME還是沒有更改過來,可能是文件沒有生效,運行
再查看JAVA_HOME,可以發現是我們在文件中設置的路徑。
如果上面設置正確的話,$JAVA_HOME/bin/java -version 會輸出 java 的版本信息,且和 java -version 的輸出結果一樣,如下圖所示,則配置成功:
5.安裝Hadoop
5.1hadoop程序下載:http://mirror.bit.edu.cn/apache/hadoop/common/
建議選擇下載 “stable” 下的 hadoop-2.x.y.tar.gz 。
5.2 hadoop安裝
輸入命令:
sudo tar -zxf ~/Downloads/hadoop-2.7.2.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-2.7.2/ ./hadoop
sudo chown -R hadoop ./hadoop
Hadoop 解壓后即可使用。輸入如下命令來檢查 Hadoop 是否可用,成功則會顯示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version
5.3 hadoop單擊配置
Hadoop 默認模式為非分布式模式,無需進行其他配置即可運行。非分布式即單 Java 進程,方便進行調試。
配置尚未完成,由于近期較忙,過兩天閑下來了再配置。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接