校园春色亚洲色图_亚洲视频分类_中文字幕精品一区二区精品_麻豆一区区三区四区产品精品蜜桃

主頁 > 知識庫 > vmware配置hadoop實現(xiàn)偽分布式的圖文教程

vmware配置hadoop實現(xiàn)偽分布式的圖文教程

熱門標簽:外呼系統(tǒng)打哪顯哪 高德地圖標注論壇 新科美甲店地圖標注 江西外呼系統(tǒng) 北海市地圖標注app AI電銷機器人 源碼 新邵電銷機器人企業(yè) 湖北ai智能電銷機器人 蘭州ai電銷機器人招商

一、實驗環(huán)境

編號 項目 軟件及版本
1 操作系統(tǒng) CentOS6
2 環(huán)境軟件 VMware 12
3 jdk環(huán)境 jdk1.8.0_181
4 Hadoop Hadoop2.8.5
5 本機操作系統(tǒng) win10專業(yè)版

二、準備Linux網(wǎng)絡環(huán)境

1.0點擊VMware快捷方式,右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網(wǎng)段:192.168.150.0 子網(wǎng)掩碼:255.255.255.0 -> apply -> ok




回到windows --> 打開網(wǎng)絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP:192.168.150.110 子網(wǎng)掩碼:255.255.255.0 -> 點擊確定



在虛擬軟件上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok

三、配置hostname

修改主機名(永久修改)
修改hosts文件


四、修改centos中的IP

通過Linux圖形界面進行修改(強烈推薦)

進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網(wǎng)絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇為manual -> 點擊add按鈕 -> 添加IP:192.168.150.110 子網(wǎng)掩碼:255.255.255.0 網(wǎng)關:192.168.150.1 -> apply

五、永久關閉防火墻

查看防火墻狀態(tài)


停止防火墻

永久關閉防火墻

六、解壓jdk


修改環(huán)境變量并且source一下


七、解壓hadoop

八、修改配置文件(5個)

第一個:hadoop-env.sh ,在/cloud/hadoop-2.8.5/etc/hadoop下面

在大約27行修改,要看行號,可以vi該文件之后,按esc,輸入冒號,再輸入set nu回車,就有行號了

export JAVA_HOME=/usr/java/jdk1.8.0_181


第二個:core-site.xml

<configuration>
		<!-- 指定HDFS老大(namenode)的通信地址 -->
		<property>
				<name>fs.defaultFS</name>
				<value>hdfs://itcast01:9000</value>
		</property>
		<!-- 指定hadoop運行時產(chǎn)生文件的存儲路徑 -->
		<property>
				<name>hadoop.tmp.dir</name>
				<value>/cloud/hadoop-2.8.5/tmp</value>
		</property>
	</configuration>

第三個:mapred-site.xml.template 需要重命名: mv mapred-site.xml.template mapred-site.xml

	<configuration>
<!-- 通知框架MR使用YARN -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
		</configuration>


這里結束之后在輸入,修改xml文件名字

mv mapred-site.xml.template mapred-site.xml

第四個:hdfs-site.xml

	<configuration>
<!-- 設置hdfs副本數(shù)量 -->
<property>
		<name>dfs.replication</name>
		<value>1</value>
</property>
		</configuration>

第五個:yarn-site.xml

	<configuration>
<!-- reducer取數(shù)據(jù)的方式是mapreduce_shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
		</configuration>


九、將hadoop添加到環(huán)境變量

vim /etc/profile
	export JAVA_HOME=/usr/java/jdk1.8.0_181
export HADOOP_HOME=/cloud/hadoop-2.8.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
	
		source /etc/profile

十、格式化HDFS(namenode)第一次使用時要格式化(忘記截圖了)

hadoop namenode -format

十一、啟動hadoop

啟動start-all
在/cloud/hadoop/sbin/下
輸入./start-all.sh

然后不停的輸入密碼和yes

十二、輸入jps查看是否配置成功

紅框中的東西,一共6個,缺一不可,不然就是有東西沒配置好,根據(jù)周邊同學經(jīng)驗,要么網(wǎng)絡沒配置好,要么上面5個配置文件沒寫好,實在找不到,最簡單粗暴麻煩但是有效的方法,從頭裝機再來吧,我是一口氣成功。


進入centos中的瀏覽器

從瀏覽器中輸入centos 的ip端口號50070看到下圖

從瀏覽器輸入centos的ip端口號8088出現(xiàn)下圖,成功

以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。

標簽:阿克蘇 黔東 黃石 大理 海南 自貢 南陽 池州

巨人網(wǎng)絡通訊聲明:本文標題《vmware配置hadoop實現(xiàn)偽分布式的圖文教程》,本文關鍵詞  vmware,配置,hadoop,實現(xiàn),偽,;如發(fā)現(xiàn)本文內(nèi)容存在版權問題,煩請?zhí)峁┫嚓P信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《vmware配置hadoop實現(xiàn)偽分布式的圖文教程》相關的同類信息!
  • 本頁收集關于vmware配置hadoop實現(xiàn)偽分布式的圖文教程的相關信息資訊供網(wǎng)民參考!
  • 推薦文章
    主站蜘蛛池模板: 徐州市| 中江县| 溆浦县| 渭南市| 区。| 田阳县| 耿马| 抚州市| 清涧县| 平谷区| 泸溪县| 长垣县| 阳原县| 浙江省| 莫力| 托克逊县| 邢台县| 囊谦县| 什邡市| 山东| 湄潭县| 恭城| 罗田县| 辛集市| 贵州省| 娄烦县| 光泽县| 黄龙县| 乌苏市| 灌南县| 泰宁县| 金门县| 宝丰县| 洛宁县| 永昌县| 深州市| 临夏县| 仁怀市| 和平县| 克山县| 富川|