Hadoop集群搭建】Hadoop運行環境配置——虛擬機準備（CentOS 8）

2020-02-11 16:57 作者：admin 瀏覽量：

 
這次的肺炎疫情對中國的中小企業將會是沉重的打擊，據釘釘和微信兩個辦公平臺數據統計現有2億左右的人在家遠程辦公，那么對于中小企業的員工來說不懂IT技術將會讓他們面臨的最大挑戰和困難。
 
電腦不亮了怎么辦？系統藍屏如何處理？辦公室的電腦在家如何連接？網絡應該如何設置？VPN如何搭建？數據如何對接？服務器如何登錄？數據安全如何保證？數據如何存儲？視頻會議如何搭建？業務系統如何開啟等等一系列的問題，都會困擾著并非技術出身的您。
   
好消息是當您看到這篇文章的時候，就不用再為上述的問題而苦惱，您只需撥打艾銻無限的全國免費熱線電話:400 650 7820，就會有我們的遠程工程師為您解決遇到的問題，他們可以遠程幫您處理遇到的一些IT技術難題。
 
如遇到免費熱線占線，您還可以撥打我們的24小時值班經理電話:15601064618或技術經理的電話:13041036957，我們會在第一時間接聽您的來電，為您提供適合的解決方案，讓您無論在家還是在企業都能無憂辦公。
 
那艾銻無限具體能為您的企業提供哪些服務呢？ 艾銻無限始創于2005年，歷經15年服務了5000多家中小企業并保障了幾十萬臺設備的正常運轉，積累了豐富的企業IT緊急問題和特殊故障的解決經驗，制定了相對應的解決方案。我們為您的企業提供的IT服務分為三大版塊:
 
第一版塊是保障性IT外包服務:如電腦設備運維，辦公設備運維，網絡設備運維，服務器運維等綜合性企業IT設備運維服務。
 
第二版塊是功能性互聯網外包服務:如網站開發外包，小程序開發外包，APP開發外包，電商平臺開發外包，業務系統的開發外包和后期的運維外包服務。
 
第三版塊是增值性云服務外包:如企業郵箱上云，企業網站上云，企業存儲上云，企業APP小程序上云，企業業務系統上云，阿里云產品等后續的云運維外包服務。
 
您要了解更多服務也可以登錄艾銻無限的官網:www.bjitwx.com查看詳細說明，在疫情期間，您企業遇到的任何困境只要找到艾銻無限，能免費為您提供服務的我們絕不收一分錢，我們全體艾銻人承諾此活動直到中國疫情結束,我們將這次活動稱為——春雷行動。  
以下還有我們為您提供的一些技術資訊，以便可以幫助您更好的了解相關的IT知識，幫您渡過疫情中辦公遇到的困難和挑戰，艾銻無限愿和中國中小企業一起共進退，因為我們相信萬物同體，能量合一，只要我們一起齊心協力，一定會成功。再一次祝福您和您的企業，戰勝疫情，您和您的企業一定行。
 
【Hadoop集群搭建】Hadoop運行環境配置——虛擬機準備（CentOS 8）
主要步驟：
1.修改靜態IP
2.修改主機名稱
3.關閉防火墻
4.創建具有root權限的普通用戶
5.安裝jdk和hadoop
6.關機快照克隆并配置克隆虛擬機
事先準備
 
VMware Workstation Pro 15(可變)
CentOS 8 64位(可變，但使用別的linux版本后續操作會有幾處不同)
Xshell 6(終端模擬軟件，比起直接操作虛擬機終端方便很多，具體安裝和連接方法可上網學習)1.改一下靜態IP
首先在VM工具欄打開“編輯—虛擬網絡編輯器”，選擇VMnet8，分別打開DHCP設置/NAT設置，記住IP地址范圍 / 子網IP / 子網掩碼 / 網關IP。  
建議root用戶登陸，編輯網絡配置文件（不同版本CentOS這里的網絡配置文件名稱有所不同）
 
vim /etc/sysconfig/network-scripts/ifcfg-ens33
1
將BOOTPROTO從“dhcp”（動態ip）改為“static”（靜態ip）
ONBOOT設置為“yes”（在系統啟動時激活網卡）
然后依次添加的是IP地址/子網掩碼/網關IP/DNS1和DNS2，其中IP地址網段必須與上面的一致，并處于范圍內，這里設為192.168.65.131，子網掩碼/網關IP與上面一致，主備用DNS可自行決定。  
2.再改一下主機名
vim /etc/sysconfig/network
1
這里設置HOSTNAME為hadoop100  
vim /etc/hosts
1
這里是集群機器主機名和IP地址的映射，規劃好所有集群機器的IP地址，這里我就規劃四臺機器，按順序規劃主機名和對應IP地址。 同時也要修改Windows下的hosts文件（C:\Windows\System32\drivers\etc下），添加相同主機名-IP映射。 ps:如果沒有保存修改權限可以修改文件屬性-安全，為Users添加相應權限(如下)。
 
全部完成后我們重啟網絡服務以使配置生效。
（CentOS 7的重啟網絡服務命令是systemctl start network.service或者service network restart）
 
nmcli c reload
1
當然，個人經驗是好像沒啥用，不如reboot一下來的簡單粗暴>_<。
 
那么我們重啟機器后查看主機名：
 
hostname
1
發現是hadoop100，很好，如果還有問題使用命令hostnamectl set-hostname hadoop100并再次重啟。
 
 
至此我們的網絡就配置好了。（不難吧，就是煩了點，已經好了一半了，奧里給！）
 
3.關一下防火墻
此步驟一定要在root用戶進行。
 
首先查看防火墻狀態
 
systemctl status firewalld
1
我這里已經關閉過了，如果是active就意味著防火墻打開。
 
以下命令關閉防火墻
 
systemctl stop firewalld #停止firewall
systemctl disable firewalld.service #禁止firewall開機啟動
1
2
也可以執行 vim /etc/selinux/config修改參數SELINUX=disabled來禁止開機啟動。
 
ping一下
我們在hadoop100上ping3次外網，ping3次主機，如下說明網絡配置好了
ps:如果不加次數會一直ping下去，可使ctrl+c停止命令。
 
再在主機上ping一下hadoop100，無丟包現象。
 
這樣我們的網絡配置就沒問題啦。
 
4.建一個普通用戶并使其具有root權限
由于日常使用中往往使用普通用戶而非root用戶（當然個人覺得root用戶往往比較方便權限比較大，但是一般情況下都不推薦使用root，最好單獨建立一個普通的用戶。因為root用戶有等同于操作系統的權限，假設你不小心誤操作或黑客黑進來rm -rf一下你的系統就完嘍）那有root權限的普通用戶和root用戶有區別嗎？懂的小伙伴答一下~~
 
創建并進入一個普通用戶，添加用戶到root權限組
 
vim /etc/sudoers
1
添加這么一行命令，最前面是你的用戶名
 
 
5.裝個JDK和Hadoop
首先rpm -qa | grep java查看是否有已安裝的jdk，如果發現jdk版本低于1.7或是系統自帶的openjdk需要sudo rpm -e 軟件包卸載。
我下載的jdk1.8和Hadoop2.7.2，Hadoop我不知道，jdk1.8我是真的覺得這個版本比較穩定，在其他項目中我使用過最新版本的jdk13會遇到問題，1.8就沒問題，推薦！（當然我們也要了解最新版本的新特性）Hadoop已經出到了3點幾，這里也是使用比較穩定的版本。
我在根目錄下的opt目錄創建一個module文件夾，用于存放解壓后Hadoop，jdk則存放在了之前的項目創建的/usr/java下，大家可以自行選擇路徑，只要便于管理就行。（下載解壓過程就不多說了）
下面來配置二者的環境變量。
vim /etc/profile打開配置文件，在文件末尾添加如下語句，紅框處改為你本機的jdk和hadoop的安裝路徑。
 
終端輸入命令java -version和hadoop version出現以下內容則說明配置成功。
 
 
6. 關機-快照-克隆-配置
如題，快照是用于保存虛擬機現在的狀態，崩潰后便于恢復，也可略過。按照上面的規劃，我克隆了3臺，分別命名為hadoop101 / hadoop102 / hadoop103，每臺克隆虛擬機需要
 
按照之前的主機名-IP映射規劃修改**/etc/sysconfig/network-scripts/ifcfg-ens33**（不同版本系統文件名可能不同）中的IP地址；
更改相應的主機名；
檢查防火墻是否關閉，并重啟網絡服務或重啟虛擬機使其生效。
你也可以每臺虛擬機都互ping一下，保證集群間的通信。