蓝月亮四肖中特

about云開發

 找回密碼
 立即注冊

QQ登錄

只需一步,快速開始

[學習線路] 零基礎學習hadoop到上手工作線路指導(初級篇)

    [復制鏈接]
nettman 發表于 2014-2-2 20:33:28 | 顯示全部樓層 |閱讀模式
零基礎學習hadoop,沒有想象的那么困難,也沒有想象的那么容易。在剛接觸云計算,曾經想過培訓,但是培訓機構的選擇就讓我很糾結。所以索性就自己學習了。整個過程整理一下,給大家參考,歡迎討論,共同學習。
從一開始什么都不懂,到能夠搭建集群,開發。整個過程,只要有Linux基礎,虛擬機化和java基礎,其實hadoop,沒有太大的困難。
hadoop.jpg
首先整體說一下學習過程給大家借鑒:
首先查閱了資料,什么是hadoop,至于這方面,你可以參考這個帖子hadoop新手學習指導。對這個有了整體的認識之后開始下面內容。(新手請務必參考hadoop新手學習指導,否則后面可能看不懂)

我們知道hadoop,有單機安裝,偽分布安裝和分布安裝。
同時hadoop的環境是Linux,所以我們還需要安裝Linux系統。因為我們的習慣是使用windows,所以對于Linux上來就安裝軟件之類的,困難度很大。并且我們要搭建集群,需要多臺硬件的,不可能為了搭建集群,去買三臺電腦。

從成本和使用我們需要懂虛擬化方面的知識。這里的虛擬化其實就是我們需要懂得虛擬機的使用。因為hadoop安裝在Linux中,才能真正發揮作用。所以我們也不會使用windows。

(這里補充硬件的選擇:最關鍵的是內存,2G內存是有點卡的,4G有點勉強的,8G用起來順暢)

基于以上內容。所以我們需要懂得
1.虛擬化
2.Linux
3.java基礎

下面來詳細介紹

1.虛擬化
剛開始學習,上來就安裝了虛擬機wmware station,然后創建虛擬機,安裝Linux。但是問題來了。虛擬機的網絡難住,因為缺乏這方面的知識,所以不得不停下來,學習虛擬機的網絡,該怎么搞。虛擬機網絡分為三種:
1.briage
2.host-only
3.nat
這不是很簡單的嗎?網上資料也不少。可是事情并沒有想象的那么簡單,因為nat雖然能上網,但是虛擬系統無法和本局域網中的其他真實主機進行通訊。橋接模式全都需要手工配置,而且這里還需要明白自己是本機撥號上網,還是路由撥號上網。host-only創建一個與網內其他機器相隔離的虛擬系統,這個更不行。這些都不適合我們的hadoop集群。hadoop要求主機與虛擬機與外部網絡(能上網),這三者都是通的,在安裝的過程中,才不會遇到麻煩。
所以這就是虛擬化方面的困難。
下面總結了在虛擬化方面需要做的:


虛擬化零基礎入門

此文章讓你明白為什么虛擬化,虛擬化的價值

虛擬機入門二,虛擬機的三種網絡模式


詳細介紹了虛擬化三種網絡模式

搭建集群必備虛擬化網絡知識


上面了解三種網絡模式,這三種網絡模式該如何才能上網。

對于上面你可能了解的還不夠,下面咱們論壇會員具體實踐指導,可以與他們相互交流:

集群搭建:主機寬帶撥號上網,虛擬機使用橋接模式,該如何ping通外網


集群搭建必備:虛擬機之一實現Host-only方式上網

集群搭建必備:nat模式設置靜態ip,達到上網與主機相互通信


上面是三種不同網絡模式下,如何達到,虛擬機,主機,網絡三者互通。

上面的知識具備了我們開始動手:
第一步:下載軟件

VMware Workstation 10.0.0簡體中文正式版官方下載地址
ubuntu-desktop 版:是圖形界面
ubuntu-12.04-desktop-amd64
鏈接: http://pan.baidu.com/s/1eQxHLFO 密碼: nnkv

新手指導windows使用虛擬機安裝Linux(ubuntu):包括下載及安裝指導
上面的帖子很齊全,包括wmware下載Linux桌面版下載。還有安裝指導,包括下面需要講解的Linux安裝指導

第二步:
下載我們就需要安裝和使用

VMware workstation安裝linux(ubuntu)配置詳解

在這里我們安裝完畢虛擬機,安裝完畢Linux,我們需要返回第一步,進行網絡設置。但是在網絡設置中,我們會遇到各種各樣的困難,因為缺乏Linux知識。

同時這里補充一些虛擬化的基礎知識:
虛擬網卡概述


VMware虛擬機網絡設置方法


虛擬機(Linux操作系統)三種網絡模式切換遇到的問題

虛擬機安裝Linux視頻


2.Linux
2.1、Linux基礎知識


對于Linux的學習也是一個過程,因為可能你連最簡單的開機和關機命令都不會,更不要談配置網絡。這里面給大家提供剛開始學習所查閱的資料和經驗總結。
首先我們需要使用一些命令,進行網絡配置,但是在網絡配置中,這里面又必須懂得虛擬機的一些知識,所以前面的虛擬機知識需要掌握扎實一些。
對于網絡配置:

集群搭建:主機寬帶撥號上網,虛擬機使用橋接模式,該如何ping通外網


集群搭建必備:虛擬機之一實現Host-only方式上網

集群搭建必備:nat模式設置靜態ip,達到上網與主機相互通信


其實還是上面三個,但是我們會遇到各種不會的命令,即使能查到命令,我們也不能使用。為什么會這樣,因為各種有的命令,是需要使用安裝包的。我們在配置網絡過程中,同樣會遇到各種各樣的奇怪的配置。在我們的Linux的系統,不能找到文件。這里只舉ubuntu。網絡配置文件/etc/network/interfaces。我們配置完畢之后,有各種網絡重啟方式:
  1. /etc/init.d/networking  restart
復制代碼
這是一種網絡重啟方式,但是有時候并不管用。

那么這時候我們遇到困難了,剛接觸命令不起作用,該怎么辦?
  1. ifconfig eth0 down
復制代碼
  1. ifconfig eth0 up
復制代碼
(這里同樣需要明白,我這里使用的是eth0上網的,如果你使用的是eth1,就需要替換成eth1)

上面的兩個命令能達到同樣的效果。

在舉一例:
我們需要配置網絡文件,在很多網絡配置是使用下面的命令的
  1. vim /etc/network/interfaces
復制代碼
但是我們看到下面錯誤
  1. The program vim can be found in the following package:
  2. vim
  3. vim -gnome
  4. vim-tiny
  5. vim-gtk
  6. vim-nox
  7. Try:sudo apt-get install <select package>
復制代碼
這和我們看到的配置完全不一樣。這是因為我們安裝Linux之后,并沒有安裝vim包。所以我們又遇到了困難。如果你熟悉Linux的話,這個根本不是問題。
  1. vi /etc/network/interfaces
復制代碼
上面命令迎刃而解。一個vim,一個vi。在我們剛接觸這些肯定云里霧里,所以你需要首先有成就感,然后在慢慢接觸。下面都是經過實踐的內容,也算是經驗,大家可以參考。

云技術基礎:學習hadoop使用零基礎linux(Ubuntu)筆記

搭建集群必知:Linux常用命令及修改文件總結(不斷更新)   

Linux網絡接口ifconfig命令及認識網絡接口lo

linux入門詳細介紹


虛擬機安裝linux網絡配置資料大全


解決遇到Linux網絡配置,從熟悉網絡配置文件入手(大體了解即可)


linux入門大全:包括零基礎入門,Linux詳細介紹


Linux重啟方式init 0 init1 init 3 init 5 init 6 這幾個啟動級別都代表什么意思?

Ubuntu常用命令總結及修改DNS的多種方法總結

Linux關機各種關機命令總結


Linux基礎必懂:eth0,eth1,eth2,lo是什么意思?

此篇文章幫助認識網卡,判斷網卡是否啟動,對于網絡的也算是常識。

--------------------------------------------------------------------------------------------------------------------------------------------


linux中pwd命令詳解
這是了解你所處路徑的,起到輔助的作用。


linux之vi編輯器
此篇文章較為關鍵,因為經常用到,而且需要熟悉
編輯模式
命令模式
如何保存,如何退出等各種操作





linux yum命令詳解


Linux下chkconfig命令詳解
熟悉他的作用就是能夠查看軟件安裝是否成功


2.1、Linux安裝hadoop

上面切記浮躁,因為這也是上面一到兩個月的總結。我們不可能一天兩天就能完成。所以上面需要我們經過最起碼完全一周的時間。我們熟悉了Linux命令,熟悉了網絡知識。后面我們進行的快多了。

部署集群,首先需要安裝java,然后安裝hadoop。

首先我們還是從零基礎開始。

我們需要下載和本地電腦相匹配的jdk,是32位的下載32位,是64位的下載64位。這里我們從最簡單的入手。在這過程中,可能遇到問題的是環境變量的配置,造成命令不能識別。而這里你需要學習新的Linux知識。不過如果前面你已經配置完網絡,有了這個基礎,在學習新的知識,壓力明顯變小了。

下面給大家分享一下,在Linux中如何安裝Java和hadoop。
hadoop2搭建參考hadoop2.2完全分布式最新高可靠安裝文檔



Hadoop安裝過程:Hadoop單機環境搭建權威指南(ubuntu)


安裝完畢,我們該怎么用,該怎么測試安裝成功。

集群安裝完畢,該如何測試和使用集群-hadoop單機



通過上面帖子,我們很容易安裝完成,如果是剛熟悉Linux,需要補充下面知識,才能順利完成。

linux中Java jdk環境變量的含義

linux(ubuntu)安裝Java jdk環境變量設置及小程序測試



Linux中source命令學習










今天在寫點內容,以上咱們已經會安裝集群了,那么我們就需要進入開發了。開發零基礎,該如何,咱們提供了相關的內容分別介紹下面文章
學習hadoop----java零基礎學習線路指導視頻(1)
這一篇我們使用什么開發工具,甚至考慮使用什么操作系統。然后就是Java基礎知識篇,包括變量、函數等。

學習hadoop---Java初級快讀入門指導(2)
第一篇是屬于思想篇,那么這一篇屬于實戰篇,通過不同的方式,交給你怎么編寫第一個小程序。

Java零基礎:一步步教你如何使用eclipse創建項目及編寫小程序實例
由于上面沒有真正抽象出eclipse的使用,所以這里專門介紹了使用eclipse如何創建項目,及如何編寫小程序實例


java基礎:eclipse編程不得不知道的技巧
eclipse基本知識會了之后,我們在項目,這些技巧相當有用,而且經常用到


hadoop開發方式總結及操作指導
這是第三篇,我們上面熟悉之后,就可以開發hadoop。但是因為hadoop是屬于分布式,所以如果對Java越是熟悉,可能產生的問題就會越多。這里總結了hadoop的開發方式。

下一篇:
零基礎學習hadoop到上手工作線路指導(中級篇)

推薦篇:
零基礎學習hadoop到上手工作線路指導(編程篇)


########################

1T大數據人工智能資源獲取
獲取方式
長按/掃描二維碼 ,后臺回復關鍵詞,公眾號提示對應的數字




獲取hadoop3.0集群安裝包括Yarn擴展視頻。后臺回復關鍵詞:







獲取區塊鏈資源。后臺回復關鍵詞:





本帖被以下淘專輯推薦:

加微信w3aboutyun,可拉入技術愛好者群
kevindai 發表于 2014-6-6 22:50:07 | 顯示全部樓層

謝謝分享這麼好的東西
yy504025810 發表于 2014-2-3 12:38:04 | 顯示全部樓層
不錯,我感覺這個挺好的額,順便下來看那看~!
Marcel 發表于 2014-2-11 15:16:11 | 顯示全部樓層
thanksssssss
jonsen99 發表于 2014-2-12 14:19:59 | 顯示全部樓層
這個比另一個貼子的介紹詳細一點。哪個才是原創啊?
noame 發表于 2014-2-18 10:04:29 | 顯示全部樓層
總結的很好,謝謝樓主,辛苦
說的對,頂你 發表于 2014-2-19 16:01:21 | 顯示全部樓層
樓主辛苦,求上手工作講解
perfri 發表于 2014-3-1 13:23:28 | 顯示全部樓層
學習中,謝謝分享。
jsyzxq2001 發表于 2014-4-19 15:05:53 | 顯示全部樓層

總結的很好,謝謝樓主,辛苦
love471802048 發表于 2014-4-21 14:30:00 | 顯示全部樓層
頂一下,樓主辛苦了
您需要登錄后才可以回帖 登錄 | 立即注冊

本版積分規則

關閉

推薦上一條 /4 下一條

QQ|小黑屋|about云開發-學問論壇|社區 ( 京ICP備12023829號 )

GMT+8, 2020-2-20 15:21 , Processed in 1.140625 second(s), 37 queries , Gzip On.

Powered by Discuz! X3.4 Licensed

© 2018 Comsenz Inc.Designed by u179

快速回復 返回頂部 返回列表
蓝月亮四肖中特 白小姐图库 有赖子的手机麻将 2017145期七星彩规律 云南11选5 广东麻将教学视频教程 11选5选号方法大全 电子游戏英语怎么读 360足球竞彩即时比分 顶呱刮微信 彩票开奖直播