好湿?好紧?好多水好爽自慰,久久久噜久噜久久综合,成人做爰A片免费看黄冈,机机对机机30分钟无遮挡

主頁 > 知識庫 > linux下hadoop配置過程

linux下hadoop配置過程

熱門標簽:智能外呼系統(tǒng)的選購 各種地圖標注 地圖標注員騙局 福州營銷電銷機器人招商 地圖標注不在現(xiàn)場怎么上傳門頭標 400電話申請商客通 企業(yè)電話機器人靠譜嗎 河北點撥外呼系統(tǒng)哪家公司做的好 文德數(shù)慧科技有限公司
1,安裝linux
本文假設從裸機開始,所以要先裝linux。本人是ubuntu對支持者,所以裝的是ubuntu,廢話沒有,很容易就裝好了。在安裝過程中,要注意所有節(jié)點對主機名應該有規(guī)律,比如node0, node1, node2 ...
2,準備
下面對軟件對安裝,全都使用了apt,這個軟件需要互聯(lián)網(wǎng)鏈接,如果你對網(wǎng)速極慢,或者根本鏈接不到外部網(wǎng)絡(這個現(xiàn)象在教育網(wǎng)內(nèi)很常見),可以從一個能上網(wǎng)對ubuntu電腦上的/var/cache/apt/archives文件夾里deb文件出來安裝(什么?你問我這個文件夾里為什么沒有想要的包,這個文件夾是apt對緩存文件夾,想要里面有你想要對東西,不用我提醒你應該怎么辦了吧)。
ubuntu默認已經(jīng)裝好了openssh-client,需要安裝openssh-server。命令如下:

復制代碼
代碼如下:

sudo apt-get install openssh-server

然后是jdk:

復制代碼
代碼如下:

sudo apt-get install default-jdk


3,配置網(wǎng)絡
如果你的節(jié)點們可以通過dhcp服務器獲得ip,我個人建議,這樣做,原因是簡單,不用怎么配置就搞定了。或者可以使用靜態(tài)ip,作為一個牛b的linux大牛,應該可以通過一行命令來設置靜態(tài)ip,但是我不會。我通常都是在gnome提供的網(wǎng)絡管理器來設ip對。如果你用對linux里沒有圖形界面,那樣請google。
設置好了ip地址之后,記憶在/etc/hosts文件中給每個節(jié)點起個名字,最好就是各自對主機名,這樣有利于下面對配置和管理。
hadoop要求各節(jié)點間可以不需要輸入密碼就能用ssh互相登錄。我使用了比官方方法簡單一點方法來設置,但是據(jù)說安全性有點兒問題。下面是方法:
在某個節(jié)點上執(zhí)行如下命令:

復制代碼
代碼如下:

rm -rf ~/.ssh


復制代碼
代碼如下:

ssh-keygen -t rsa

這個命令之后需要多按幾次回車,知道再次出現(xiàn)命令提示符。當然,這個做法也不是很安全,里面有個輸入key的地方,官方的建議是,輸入一首歌的歌詞,呵呵,這個建議很搞笑。當然在我的步驟中,這個key就是空值了。

復制代碼
代碼如下:

cat ~/.ssh/id_rsa.pub >> authorized_keys

然后把整個.ssh文件夾考到所有對節(jié)點上,具體方法可以使用scp命令,具體命令由于和具體環(huán)境有關,下面不寫。

這樣網(wǎng)絡就設置對差不多了。
4,安裝hadoop
解壓,這個比較簡單,命令不寫。解壓對位置最好每個hadoop都一樣,不一樣有什么后果,我沒試過。
之后要進行一些配置,首先進入解壓后目錄對conf文件夾,要修改對配置文件包括hadoop-env.sh hadoop-site.xml masters slaves
hadoop-env.sh中要uncomment下面一行:


復制代碼
代碼如下:

export JAVA_HOME=/home/hadoop/jdk1.6.0_16/

當然具體的值,也要根據(jù)具體情況進行更改。
接下來是hadoop-site.xml,下面是我的文件內(nèi)容。

復制代碼
代碼如下:

configuration>
property>
name>fs.default.name/name>
value>hdfs://node0:6000/value>
/property>
property>
name>mapred.job.tracker/name>
value>node0:6001/value>
/property>
/configuratiron>

這個例子很直白,不解釋。

masters里面是jobtracker和namenode所在節(jié)點的主機名或者ip地址,我的masters文件里只有一行,當然如果你想要設置多個節(jié)點作為主節(jié)點,也可以。
slaves里面是所有tasktracker和datanode對主機名或ip地址。
5,運行
先進入hadoop安裝文件夾。然后依次運行如下命令:

復制代碼
代碼如下:

bin/hadoop namenode -format
bin/start-all.sh

不出意外的話,現(xiàn)在hadoop就可以使用了。

Hadoop是一個分布式系統(tǒng)基礎架構,由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System),簡稱HDFS。HDFS有著高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上。而且它提供高傳輸率(high throughput)來訪問應用程序的數(shù)據(jù),適合那些有著超大數(shù)據(jù)集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求(requirements)這樣可以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。

標簽:新余 潛江 鎮(zhèn)江 雞西 長沙 南陽 曲靖 鎮(zhèn)江

巨人網(wǎng)絡通訊聲明:本文標題《linux下hadoop配置過程》,本文關鍵詞  linux,下,hadoop,配置,過程,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《linux下hadoop配置過程》相關的同類信息!
  • 本頁收集關于linux下hadoop配置過程的相關信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 120秒视频体验5次| 国产精选一区二区麻豆粉嫩| 亚洲精品久久久久久久久久久| 陆以迟林招摇小说叫什么| 美女人| 女教师日记2暴露的醒完整版| 男女午夜性刺激| 男生和女生一起差差的很app下载大全 | 狠狠操成人| 无人在线看高清视频| 钶钶钶钶钶钶钶水好多好唯一| 99新视频综合平台| 免费国产a国产片高清不卡| japanese五十路mature成熟| 小妖精奶头好大好软让我揉揉| 不戴套把她日出了水好爽免费| 日本三级斤| 健身教练65话如果是你我可以| 免费一级特黄录像| 国产毛片一区二区| 国产亚洲欧美另类专区| 草蜢日本在线观看| 被当成泄欲工具粗暴的对待小说| 第一次挺进苏小雨身体里| 激情孕妇系列| 香蕉成人999视频| 最全精品自拍视频在线| 老少亂伦一区二区三区| 真人抽搐一进一出gif动态图| 中国一级簧色| 高校女教师在线观看电影| 午夜伦锂片中文字幕| 欧美色视频日本高清在线观看| 午夜网站在线播放| 国产老头gay和老头gay视频| 女子全员怀孕计划| 19禁大尺度做爰无遮挡电影 | 老师喂我乳我脱她胸罩两性故事| japan年轻护士tube| 他用按摩器把我弄高潮了| 老师我好爽再深一点的视频|