Hadoop – Getting Started

本文還在整理中

在開始使用 Hadoop 前,須要先去了解什麼是 Hadoop,我們可以在網路上找到很多相關的說明,你也可以參考我整理關於 Hadoop 的文章,了解之後我們就可以架設並使用 Hadoop ,那要從哪裡開始,從 Apcahe 官方網站的 Getting Started 是最理想的開始!!!

目的:

這一篇文章會從最簡單的單個 (single-node) Hadoop 開始,這裡面就會包含了 Hadoop MapReduce 以及 Hadoop Distributed File System (HDFS) 等功能.

平台需求:

基本上我會使用 Linux 當作是 Hadoop 平台,我們當然也可以使用 windows 不過目前 windows 的版本還是屬於開發 (development) 階段的版本.

軟體需求:

以下的敘述都是以 Linux 的平台為基礎

root@benjr:~$ chmod a+x jre1.6.0_30-linux-i586.bin
root@benjr:~$ ./jre1.6.0_30-linux-i586.bin
root@benjr:~$ sudo mkdir /usr/java
root@benjr:~$ sudo mv jre1.6.0_30 /usr/java/

1. JavaTM 1.6.x, 雖然在 linux 下可以使用 wget 直接下載檔案,不過 Java 三不五時的長更新檔案,所以有需要還是去一趟 Java 的官方網站去 下載 比較保險.
2. 安裝 ssh 與 rsync

   root@benjr:~$ sudo apt-get install ssh
   root@benjr:~$ sudo apt-get install rsync
   

   建立 hadoop 使用者帳號

   root@benjr:~$ adduser
   adduser: Only root may add a user or group to the system.
   root@benjr:~/Downloads$ sudo adduser
   adduser: Only one or two names allowed.
   root@benjr:~/Downloads$ sudo adduser hadoop
   Adding user `hadoop' …
   Adding new group `hadoop' (1001) …
   Adding new user `hadoop' (1001) with group `hadoop' …
   Creating home directory `/home/hadoop' …
   Copying files from `/etc/skel' …
   Enter new UNIX password:
   Retype new UNIX password:
   passwd: password updated successfully
   Changing the user information for hadoop
   Enter the new value, or press ENTER for the default
   Full Name []: Ben
   Room Number []:
   Work Phone []:
   Home Phone []:
   Other []:
   Is the information correct? [Y/n] y
   root@benjr:~$ su hadoop
   Password:
   

   關於安裝 Java 在 Sun 的官方網站有更詳細的說明,請自行參考 Sun 的官方網站

3. 還需要安裝 sshd 遠端的 Hadoop 需要透過 ssh 的方式去做管理,通常在 Linux 下 sshd 皆為預設安裝.

寫到這裡我要先暫停一下,因為有點搞不是很懂很多關於 Hadoop 的概念!!