456成人影院在线观看_亚洲a毛片_日韩9999_伊人网老司机_一本免费视频_最近高清日本免费

IT之道-艾銻知道

您當(dāng)前位置: 主頁 > 資訊動(dòng)態(tài) > IT知識(shí)庫 >

IT外包帶你快速搭建Hadoop運(yùn)行環(huán)境


2020-04-24 17:41 作者:艾銻無限 瀏覽量:

IT外包帶你快速搭建Hadoop運(yùn)行環(huán)境

Hadoop 是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),在大數(shù)據(jù)領(lǐng)域被廣泛的使用,它將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ),Hadoop 最核心的設(shè)計(jì)就是 HDFS 和 MapReduce,HDFS 為海量的數(shù)據(jù)提供了存儲(chǔ),MapReduce 為海量的數(shù)據(jù)提供了計(jì)算。這篇文章主要就是介紹一下如何搭建一個(gè) Hadoop 運(yùn)行環(huán)境。
Hadoop 是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu),在大數(shù)據(jù)領(lǐng)域被廣泛的使用,它將大數(shù)據(jù)處理引擎盡可能的靠近存儲(chǔ),Hadoop 最核心的設(shè)計(jì)就是 HDFS 和 MapReduce,HDFS 為海量的數(shù)據(jù)提供了存儲(chǔ),MapReduce 為海量的數(shù)據(jù)提供了計(jì)算。這篇文章主要就是介紹一下如何搭建一個(gè) Hadoop 運(yùn)行環(huán)境。
 
我們使用 Linux 操作系統(tǒng)來搭建環(huán)境,下面的信息是用來準(zhǔn)備搭建 Hadoop 環(huán)境的電腦環(huán)境信息。
  1. hadoop@ubuntu:~$ cat /etc/os-release 
  2. NAME="Ubuntu" 
  3. VERSION="14.04.5 LTS, Trusty Tahr" 
  4. ID=ubuntu 
  5. ID_LIKE=debian 
  6. PRETTY_NAME="Ubuntu 14.04.5 LTS" 
  7. VERSION_ID="14.04" 
  8. HOME_URL="http://www.ubuntu.com/" 
  9. SUPPORT_URL="http://help.ubuntu.com/" 
  10. BUG_REPORT_URL="http://bugs.launchpad.net/ubuntu/" 
緊接著來新建一個(gè)用戶,這一步其實(shí)也可以省略的,可以根據(jù)實(shí)際情況來決定,這里是新建了一個(gè)叫 hadoop 的新用戶。
  1. #創(chuàng)建新用戶 
  2. sudo useradd -m hadoop -s /bin/bash 
  3. #設(shè)置密碼 
  4. sudo passwd hadoop 
  5. #為hadoop用戶增加管理員權(quán)限 
  6. sudo adduser hadoop sudo 
  7. #切換到hadoop用戶 
  8. su hadoop 
我們首先來設(shè)置一下 SSH 無密碼登錄,這一步建議都設(shè)置一下,因?yàn)榉植际较到y(tǒng)環(huán)境都是由多臺(tái)服務(wù)器構(gòu)成的,設(shè)置免密碼登錄會(huì)方便使用。
  1. #先檢查下是否可以在沒有密碼的情況下ssh到localhost 
  2. ssh localhost 
  3. #如果在沒有密碼的情況下無法ssh到localhost,請(qǐng)執(zhí)行以下命令 
  4. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
  5. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
  6. chmod 0600 ~/.ssh/authorized_keys 
上面是一些準(zhǔn)備工作,接下來就正式開始部署 Hadoop 環(huán)境了。我們先在 Apache 官網(wǎng)(http://hadoop.apache.org)這里下載最新的穩(wěn)定版本的 Hadoop 發(fā)行版,然后解壓到指定目錄并進(jìn)入這個(gè)目錄,執(zhí)行 ./bin/hadoop 和 ./bin/hadoop version 可以分別顯示 hadoop 腳本的使用文檔和版本信息,然后修改一下 ./etc/hadoop/core-site.xml 和 ./etc/hadoop/hdfs-site.xml這兩個(gè)配置文件,配置修改分別如下所示。
修改 ./etc/hadoop/core-site.xml 配置文件,添加如下配置:
  1. <configuration> 
  2.     <property> 
  3.         <name>fs.defaultFS</name
  4.         <value>hdfs://localhost:9090</value> 
  5.     </property> 
  6.     <property> 
  7.         <name>hadoop.tmp.dir</name
  8.         <value>file:/opt/bigdata/hadoop/tmp</value> 
  9.         <description>A base for other temporary directories.</description> 
  10.     </property> 
  11. </configuration> 
修改 ./etc/hadoop/hdfs-site.xml 配置文件,添加如下配置:
  1. <configuration> 
  2.     <property> 
  3.         <name>dfs.replication</name
  4.         <value>1</value> 
  5.     </property> 
  6.     <property> 
  7.         <name>dfs.namenode.name.dir</name
  8.         <value>file:/opt/bigdata/hadoop/tmp/dfs/name</value> 
  9.     </property> 
  10.     <property> 
  11.         <name>dfs.datanode.data.dir</name
  12.         <value>file:/opt/bigdata/hadoop/tmp/dfs/data</value> 
  13.     </property> 
  14. </configuration> 
配置修改好之后,執(zhí)行格式化文件系統(tǒng),操作如下。
  1. hadoop@ubuntu:/opt/bigdata/hadoop$ ./bin/hdfs namenode -format 
  2. #執(zhí)行后輸出會(huì)比較多,看到下邊這條信息表示成功 
  3.  INFO common.Storage: Storage directory /opt/bigdata/hadoop/tmp/dfs/name has been successfully formatted. 
在格式化 NameNode 的時(shí)候可能會(huì)遇到下面這樣的兩個(gè)問題。
  1. 提示 Error: JAVA_HOME is not set and could not be found. 的錯(cuò)誤,這說明 JAVA_HOME 環(huán)境變量沒有配置好,重新配置一下,或者修改 ./etc/hadoop/hadoop-env.sh 文件把 export JAVA_HOME=${JAVA_HOME} 直接修改成絕對(duì)目錄 export JAVA_HOME=/usr/lib/jvm/java-8 既可解決。
  2. 提示 ERROR namenode.NameNode: java.io.IOException: Cannot create directory /opt/bigdata/hadoop/tmp/dfs/name/current 的錯(cuò)誤,這是因?yàn)榕渲玫?/opt/bigdata/hadoop/tmp 目錄的寫入權(quán)限有問題,可以直接執(zhí)行 sudo chmod -R a+w /home/hadoop/tmp 即可解決。
接下來執(zhí)行 ./sbin/start-dfs.sh 來開啟 NameNode 和 DataNode 守護(hù)進(jìn)程,然后檢查 NameNode、DataNode 和 SecondaryNameNode 是否都已經(jīng)啟動(dòng)成功,操作如下:
  1. hadoop@ubuntu:/opt/bigdata/hadoop$ jps 
  2. 4950 Jps 
  3. 3622 SecondaryNameNode 
  4. 3295 DataNode 
  5. 2910 NameNode 
啟動(dòng)成功之后可以用瀏覽器來打開 http://localhost:50070/ 瀏覽 NameNode 的Web界面。
 
到此為止,Hadoop 單節(jié)點(diǎn)集群(偽分布式)環(huán)境搭建就已經(jīng)成功了, 接下來運(yùn)行一個(gè) Hadoop 偽分布式實(shí)例。因?yàn)?Hadoop 單機(jī)模式是運(yùn)行的本地文件系統(tǒng),(偽)分布式模式則是運(yùn)行的 HDFS 上的數(shù)據(jù)。我們現(xiàn)在 HDFS 中創(chuàng)建用戶目錄,執(zhí)行目命令 ./bin/hdfs dfs -mkdir -p /user/hadoop 即可,執(zhí)行如下命令將輸入文件復(fù)制到分布式文件系統(tǒng)中。
  1. #這個(gè)可以不執(zhí)行,因?yàn)闀?huì)自動(dòng)創(chuàng)建好目錄的  
  2. #./bin/hdfs dfs -mkdir input 
  3. ./bin/hdfs dfs -put etc/hadoop input 
  4. #查看復(fù)制到HDFS的文件列表 
  5. ./bin/hdfs dfs -ls input 
接下來運(yùn)行一個(gè) Hadoop 自帶的 mapreduce 實(shí)例看看效果吧,直接執(zhí)行如下命令。
  1. ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples- 
  2. 2.9.1.jar grep input output 'dfs[a-z.]+' 
使用 ./bin/hdfs dfs -cat output/* 命令查看運(yùn)行后在 HDFS 上的輸出文件列表,或者使用下面的命令拷貝到本地查看。
  1. ./bin/hdfs dfs -get output output
  2. ./cat output/* 
關(guān)閉 Hadoop 直接使用 ./sbin/stop-dfs.sh 命令即可。
 
這里介紹了 Hadoop 環(huán)境搭建的最基本最簡(jiǎn)單的方法,我建議最好是邊看邊動(dòng)手操作一下,這樣可以加深印象和理解,更加有利于掌握相關(guān)知識(shí)點(diǎn)。當(dāng)然,Hadoop 環(huán)境搭建還有其他一些方法,也是實(shí)際開發(fā)中常用的方法,比如基于 Yarn、Mesos 等資源調(diào)度系統(tǒng)搭建、使用 Docker 搭建等等,有興趣的朋友們可以嘗試一下這些方法,也歡迎留言交流。
 
以上文章由北京艾銻無限科技發(fā)展有限公司整理
 

 
 

相關(guān)文章

IT外包服務(wù)
二維碼 關(guān)閉
主站蜘蛛池模板: 激情在线视频网站_日韩午夜在线观看_97精品伊人久久久大香线蕉_久久夜色精品亚洲噜噜国产mv_蜜桃嫩草_日本黄色天堂_国产69精品久久久久9999APGF_成人黄色视频免费观看 | 国产三级久久久精品麻豆三级_黄色成年人国语版在线观看_国产gv在线观看受被做哭_伦理片一级片_免费三区_狠狠操导航_久久精品对白_操操综合网 | 91超碰免费_撕开奶罩揉吮奶头视频_成年免费无码动漫AV片在线观看_免费精品视频一区二区_老熟妇性老熟妇性色变态_91综合色_美女国产毛片a区内射_蜜桃传媒一区二区 | www.狠狠艹_久久动漫网址_亚洲一区在线日韩在线尤物_五十路熟妇强烈无码_国产高清乱子精品偷伦对白_日本特级黄色大片_2018天天操夜夜操_国产AV午夜精品一区二区三区 | 日本iv一区二区三区_永久免费人禽AV在线观看_国产精品99久久久久久小说_久一视频在线_九九热一区二区_搡女人真爽免费视频大全软件_亚洲第一中文字幕在线_亚洲欧美成人一区二区 | 日韩精品无码一区二区三区四区_九色永久网址_亚洲成色WWW成人网站妖精_女教师《枫可怜》av_老司机午夜免费_国产91一区二区三区_国产香蕉视频在线_久久97视频 | 亚洲国产精品久久人人爱_污导航在线观看_中文字幕高清在线播放_一区二区三区精_免费观看欧美日韩亚洲_可以免费看av_黄网十三区_精品人妻无码区在线视频 | 国产SM调教视频在线观看_91精品国产91久久久_久操网在线视频_麻豆我和小性熟乱_暴力强奷在线播放无码_韩国三级爽野战_av一本一道_成年人免费观看网站 | 黄色成年网站_亚洲午夜无码AV毛片久久_sss海量视频在线观看_日韩精品卡1卡二卡3卡四卡_se亚洲_日本添下边无码视频全过程_性爱在线免费视频_亚洲熟妇无码AV不卡在线 | 成人美女视频免费_欧美色欧美亚洲高清在线观看_性视频网站入口_网站国产_日韩高清一区_亚洲素人av_无码高潮又爽又黄A片软件_人人妻人人澡人人爽国产 | 粉嫩老牛aⅴ一区二区三区_a级毛片免费网站_粉嫩av一区二区三区免费观看_俄罗斯粗大猛烈18P_九色国产在线_亚洲欧洲天堂_一区二区三区四区在线视频_国产成人久久av免费高清蜜臀 | 蜜臀久久精品久久久久久酒店?_日韩成人av影院_国产办公室秘书无码精品_中文字幕91爱爱_人妻丝袜AV中文系列先锋影音_欧美一区三区_国产精品美女久久久网站_无码精品一区二区三区四区爱奇艺 | 色婷婷av一区二区三区之红樱桃_新版中文在线官网_亚洲精品中文字幕av_99视频在线精品_人妻精品动漫H无码_欧美福利在线_日本中文字幕一级片_维修工的绝遇中文字 | 激情在线视频网站_日韩午夜在线观看_97精品伊人久久久大香线蕉_久久夜色精品亚洲噜噜国产mv_蜜桃嫩草_日本黄色天堂_国产69精品久久久久9999APGF_成人黄色视频免费观看 | 一区二区三区四区免费看_91大神视频网站_丝袜中出制服人妻美腿_日韩欧美色激情_美女被久久久_久久超碰97中文字幕_日韩成人在线观看视频_特大黄色片 | 操大爷影院_免费黄色片视频_99热手机在线_日本在线综合_精品免费二区三区三区高中清不卡_精品91在线_2021全国产精品网站_亚洲男人第一无码AV网 | 精品国产一区a_欧美日韩二_国产亚洲一卡2卡3卡4卡老狼_亚洲福利在线看_精品欧美一区二区三区久久久_日比视频在线观看_在线超碰免费_麻花传媒沈芯语老师家访 | 偷拍亚洲综合_亚洲欧洲国产日韩_啦啦啦在线视频免费观看高清中文_夜夜骑综合_亚洲美女自拍视频_中日精品一色哟哟_老妇女色视频_99香蕉国产精品偷在线观看 | 噜噜在线视频_99热1_www.久久久精品_人与性动交AAAABBBB视频_日韩欧美国产亚洲_美国一级欧美三级_国产网友愉拍精品视频手机人_在线毛片片免费观看 | 久久综合九色_亚洲人在线观看_欧美日韩一区免费_中国女人真人一级毛片_91嫩操_蜜乳av一区二区_一级做a爰片性色毛片是免费_中文字幕无码久久精品 | av视屏_黄网站在线观_被两个黑人玩得站不起来了_黄色毛片大全_国产精品人妻无码久久久_成人性生交大片免费视频_黄色视网站_综合欧美亚洲 | 蜜桃臀av_粉嫩av一区二区三区在线_香港aa三级久久三级_亚洲精品在线播放_国产高潮流白浆喷水在线观看_多人调教到高潮失禁h重口文_久久精品国产亚洲A∨麻豆_色欲精品国产一区二区三区AV | 日韩成人精品在线观看_日韩搞逼_免费日韩片_成人一级免费视频_天天爽夜夜爽人人爽曰_成人免费大全_日本黄色激情片_a国产亚洲欧美精品一区在线观看 | 国内精品久久无码人妻_久久国产精品大桥未久av_亚洲最大日韩中文字幕另类_91看片免费版_亚洲中文字幕久久精品无码va_操操操视频_五十高熟中文字幕_91一区二区三区四区 | 96在线看片免费视频国产_正在播放国产对白孕妇作爱_国产黄色免费看_亚洲性猛交xxxx乱大交_91污污视频_91视频高清免费_精品人妻无码一区二区三区换脸_国产成人福利视频 二级片免费_国产精品午夜久久久久久99热_久久av青久久久av三区三区_免费大片AV手机看片高清_久久精品AV无码夜色_欧美XXXX做受欧美69_久在线视频播放免费视频_国产日韩欧美一区 | 三级黄色的视频_免费视频久久久_久久综合综合_性bbbbbxxxxxzzzzz_亚洲精品二三区_美女黄的视频全免费_国产主播av在线_欧美日韩激情在线 | eeuss秋霞午夜免费影院四平_天天爱天天操天天干_少妇高潮久久久久久潘金莲_福利一区二区_国产成在线观看免费视频成本人_成人毛片a_999久久精品_国产男女猛烈无遮挡免费视频 | 97视频免费播放_爱爱免费视频网站_刺激性视频黄页_婷婷伊人网_人妻无码AV中文系列久久兔费_国产精品一区二区在线播放_av专区在线观看_97在线观看 | chinese性内射高清5_亚洲人成精品久久久久_欧美日韩在线亚洲一区蜜芽_亚洲XXXX做受欧美_无码精品AV久久久奶水小说_国产成人女人毛片视频在线_女高中生第一次破苞av_www.欧美日韩 | 嗯嗯嗯亚洲精品国产精品一区_欧美日韩精选_又黄又粗暴的120秒免费GIF视频_年轻的朋友3中文_国产一女三男3p免费视频_亚洲人亚洲人色久_免费在线成人_日韩高清三区 | 老鸭窝一区_操天天操_久久综合精品无码AV一区二区三区_国产精品呻吟声_久久超碰极品视觉盛宴_国产精品久久久久久久久久99_亚洲欧洲日本国产_久久久久久亚洲 | 一级看片免费视频囗交_亚洲日韩在线中文字幕线路2区_国产一级片免费_久久精品a一级国产免视看成人_成人超碰在线观看_亚洲香蕉视频综合在线_久久毛片免费观看_2019年中文字字幕在线看不卡 | 日韩在线免费不卡_亚洲黄色小说视频_中日韩欧美中文字幕_国产免费一级大片_国产成人99_日欧一片内射VA在线影院_japanesemon乱_亚洲中文字幕无码久久 | 日韩精品一区二区三区丰满_国产成人无码AV麻豆_黄一级毛片_911亚洲精品第一_狠狠插天天干_韩国动漫AV纯肉无码AV在线播放_国产精品久久久久久福利一牛影视_超碰91青青国产福利手机看片 | 91在线精品视频观看_亚洲AV永久无码AV激情A片_日韩在线观看视频一区二区_888久久久_中文字幕精品亚洲无线码二区_久草不卡视频_91丨porny丨九色_av日韩中文 | 九色在线网站_日韩一级黄_老人把我添到了高潮A片_免费看片的视频69xxx_欧美在线欧美在线_精品久久久国产_精品日韩av_精品无人区无码乱码大片国产 | 玩偶姐姐在线观看_91福利在线视频_在线视频91_不卡久久_7777欧美日激情日韩精品_欧美日韩精品免费_国产精品视频大全_斗罗大陆3龙王传说第四季免费观看 | 国产一级一级片_免费可以看的无遮挡AV_欧美视频精品在线_麻豆亚洲精品_在线观看第一页_亚洲国产欧美在线观看片不卡_精品国产乱码久久久久久影片_在线免费观看日本 | 欧美综合二区_国产精品45p_高清在线观看av_国产精品高潮久久_爽爽淫人网_www.成人免费_骚黄视频_亚洲无在线观看 | 国产精自产拍久久久久久蜜_黑人狂躁日本妞hd_理论片一级片_欧美一性一交一A片费看_99在线免费播放_97香蕉久久国产超碰青草软件_国产精品三级在线_久久看精品 | 亚洲av一级毛片_成人黄网在线观看_久久久中日AB精品综合_日本国产欧美大码a视频_精品一区影院_成人国产精品免费网站_说英雄谁是英雄免费观看_亚洲欧美国产成人综合不卡 |