2,754 瀏覽數

Hadoop – Getting Started

本文還在整理中

在開始使用 Hadoop 前,須要先去了解什麼是 Hadoop,我們可以在網路上找到很多相關的說明,你也可以參考我整理關於 Hadoop 的文章, 了解之後我們就可以架設並使用 Hadoop ,那要從哪裡開始,從 Apcahe 官方網站的 Getting Started 是最理想的開始!!!

目的:

這一篇文章會從最簡單的單個 (single-node) Hadoop 開始,這裡面就會包含了 Hadoop MapReduce 以及 Hadoop Distributed File System (HDFS) 等功能.

平台需求:

基本上我會使用 Linux 的 RHEL5 / Centos 5 當作是 Hadoop 平台,我們當然也可以使用 windows 不過目前 windows 的版本還是屬於開發 (development) 階段的版本.

軟體需求:

以下的敘述都是以 Linux 的平台為基礎

root@benjr:~$ chmod a+x jre1.6.0_30-linux-i586.bin
root@benjr:~$ ./jre1.6.0_30-linux-i586.bin
root@benjr:~$ sudo mkdir /usr/java
root@benjr:~$ sudo mv jre1.6.0_30 /usr/java/
  1. JavaTM 1.6.x, 雖然在 linux 下可以使用 wget 直接下載檔案,不過 Java 三不五時的長更新檔案,所以有需要還是去一趟 Java 的官方網站去 下載 比較保險.
  2. 安裝 ssh 與 rsync

    root@benjr:~$ sudo apt-get install ssh
    root@benjr:~$ sudo apt-get install rsync
    

    建立 hadoop 使用者帳號

    root@benjr:~$ adduser
    adduser: Only root may add a user or group to the system.
    root@benjr:~/Downloads$ sudo adduser
    adduser: Only one or two names allowed.
    root@benjr:~/Downloads$ sudo adduser hadoop
    Adding user `hadoop' …
    Adding new group `hadoop' (1001) …
    Adding new user `hadoop' (1001) with group `hadoop' …
    Creating home directory `/home/hadoop' …
    Copying files from `/etc/skel' …
    Enter new UNIX password:
    Retype new UNIX password:
    passwd: password updated successfully
    Changing the user information for hadoop
    Enter the new value, or press ENTER for the default
    Full Name []: Ben
    Room Number []:
    Work Phone []:
    Home Phone []:
    Other []:
    Is the information correct? [Y/n] y
    root@benjr:~$ su hadoop
    Password:
    

    關於安裝 Java 在 Sun 的官方網站有更詳細的說明,請自行參考 Sun 的官方網站

  3. 還需要安裝 sshd 遠端的 Hadoop 需要透過 ssh 的方式去做管理,通常在 Linux 下 sshd 皆為預設安裝.

寫到這裡我要先暫停一下,因為有點搞不是很懂很多關於 Hadoop 的概念!!