機械学習/MacでMahoutを使う のバックアップ差分(No.2)


  • 追加された行はこの色です。
  • 削除された行はこの色です。
この記事はまだ書きかけです.

*はじめに [#of548cb6]

[[Apache Mahout:http://mahout.apache.org/]]はHadoopの上で動くスケーラブルな機械学習ライブラリーです.
[[Apache Mahout:http://mahout.apache.org/]]は,分散環境Hadoopの上で動くスケーラブルな機械学習ライブラリーです.

この記事の内容は,Mac OS X 10.6.6, Hadoop 0.21.0, Maven 3.0.2, Mahout 0.40で確認しました.


*必要なもの [#he1838fc]

-Java SE 1.6

Mac OS X 10.6.6には標準でJava SE (JDK) 1.6が入っていると思います.
ユーティリティーにあるJava Preferencesを実行すると,インストールされているJavaのバージョンが確認できます.


*ダウンロード [#f55e60ba]

**Hadoop [#tf54febc]
-Apache Hadoop~
http://hadoop.apache.org/

Hadoop CommonのDownloadにあるDownload a realease now!からミラー・サーバーのリストに行き,その中のどれかから''hadoop-0.21.0.tar.gz''をダウンロードします.

**Maven [#n0635ae6]
-Apache Maven~
http://maven.apache.org/

Downloadのところにある''apache-maven-3.0.2-bin.zip''をダウンロードします.
今回はtar.gzがうまくダウンロードできなかったのでzipにしましたが,基本的にはどちらでも同じです.

**Mahout [#id2d258c]
-Apache Mahout~
http://mahout.apache.org/

download mahoutにあるOfficial Releaseからミラー・サーバーのリストに行き,その中のどれかから"mahout-distribution-0.4.tar.gz''をダウンロードします.


*Hadoopのインストール [#t93d4728]

まずはダウンロードしたhadoop-0.21.0.tar.gzをダブル・クリックして展開します.

展開したhadoop-0.21.0を/usr/local/に移動します.
また,/usr/local/hadoopというリンクを作成します.
#geshi(bash){{
% sudo mv hadoop-0.21.0 /usr/local/
% sudo ln -s /usr/local/hadoop-0.21.0 /usr/local/hadoop
$ sudo mv hadoop-0.21.0 /usr/local/
$ sudo ln -s /usr/local/hadoop-0.21.0 /usr/local/hadoop
}}

つぎに,環境変数を設定します.
今回の設定は,実行したシェルだけで有効です.
つぎに,環境変数を設定するため,~/.bashrcに次の内容を追加します.
#geshi(bash){{
% export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home
% export PATH=$JAVA_HOME/bin:$PATH
% export HADOOP_HOME=/usr/local/hadoop
% export PATH=$HADOOP_HOME/bin:$PATH
export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
}}


動作確認します.
#geshi(bash){{
% hadoop -version
$ hadoop -version
java version "1.6.0_22"
Java(TM) SE Runtime Environment (build 1.6.0_22-b04-307-10M3261)
Java HotSpot(TM) 64-Bit Server VM (build 17.1-b03-307, mixed mode)
}}


*Mavenのインストール [#jae2d9df]

Apache Mavenはソフトウェア・プロジェクト管理ツールで,Hadoopをビルドするのに必要です.

まず,ダウンロードしたapache-maven-3.0.2-bin.zipをダブル・クリックして展開します.

展開したapahce-maven-3.0.2 を/usr/local/に移動します.
展開したapache-maven-3.0.2 を/usr/local/に移動します.
また,/usr/local/mavenというリンクを作成します.
#geshi(bash){{
% sudo mv apache-maven-3.0.2 /usr/local/
% sudo ln -s /usr/local/apache-maven-3.0.2 /usr/local/maven
$ sudo mv apache-maven-3.0.2 /usr/local/
$ sudo ln -s /usr/local/apache-maven-3.0.2 /usr/local/maven
}}

つぎに,環境変数を設定します.
Hadoopのときと同様に,今回の設定は,実行したシェルだけで有効です.
Hadoopのときと同様に,~/.bashrcに次の内容を追加します.
#geshi(bash){{
% export MAVEN_HOME=/usr/local/maven
% export PATH=$MAVEN_HOME/bin:$PATH
export MAVEN_HOME=/usr/local/maven
export PATH=$MAVEN_HOME/bin:$PATH
}}

動作確認します.
#geshi(bash){{
% mvn -version
$ mvn -version
Apache Maven 2.2.1 (r801777; 2009-08-07 04:16:01+0900)
Java version: 1.6.0_22
Java home: /System/Library/Java/JavaVirtualMachines/1.6.0.jdk/Contents/Home
Default locale: ja_JP, platform encoding: SJIS
OS name: "mac os x" version: "10.6.6" arch: "x86_64" Family: "mac"
}}


*Mahoutのインストール [#o66e1929]

いよいよApache Mahoutをインストールします.

まず,ダウンロードしたmahout-distribution-0.4-src.tar.gzをダブル・クリックして展開します.

展開したmahout-distribution-0.4を/usr/local/に移動します.
また,/usr/local/mahoutというリンクを作成します.
#geshi(bash){{
% sudo mv mahout-distribution-0.4 /usr/local
% sudo ln -s /usr/local/mahout-distribution-0.4 /usr/local/mahout
$ sudo mv mahout-distribution-0.4 /usr/local
$ sudo ln -s /usr/local/mahout-distribution-0.4 /usr/local/mahout
}}

/usr/local/mahoutディレクトリーへ移動し,Mavenでのインストールを行います.
#geshi(bash){{
% cd /usr/local/mahout
% sudo mvn install
$ cd /usr/local/mahout
$ sudo mvn install
}}

この処理にはかなり時間がかかりますので,気長に待ちます.

処理が終わったら,環境変数を設定します.
つづいて,今まで同じように,~/.bashrcに環境変数を設定します.
#geshi(bash){{
$ export MAHOUT_HOME=/usr/local/mahout
export MAHOUT_HOME=/usr/local/mahout
export PATH=$MAHOUT_HOME/bin:$PATH
}}


*Mahoutを使ってみる [#pb6daa87]

MahoutはHadoopの上で動くので,まずはHadoopを起動し,次にMahoutを起動するという順序になります.
HadoopはHDFSと呼ばれる分散環境用の特製ファイル・システムを用いますので,Hadoopを起動したら,HDFSにデータ・ファイルをコピーするという作業が必要です.
また,Mahoutの実行が終わったら,HDFS上のファイルをMacのファイル・システムにコピーするという作業も必要になります.


**データのダウンロード [#p42041fa]

Quickstartをクリックして,例題のリストを表示します.
ここでは,一番上のクラスタリング「Clustering of synthetic control data」を使います.

このデータは,管理図の時系列データを集めたもので,600個のデータに対し時系列を成す60個の説明変数があります.
最初の100個のデータが「正常」,その次の100個のデータが「周期的」,以下同様に「増加トレンド」,「減少トレンド」,「上方シフト」,「下方シフト」となっています.

データ・ファイルをダウンロードし,適当なフォルダーに保存します.


**Hadoopの準備 [#x0a99377]

Hadoopを起動するのに,sshを使います.
そこで,システム環境設定を起動して「共有」をクリックし,「リモートログイン」にチェックを入れておきます.

つぎに,Hadoopを起動します.
#geshi(bash){{
$ $HADOOP_HOME/bin/start-all.sh
}}

Hadoopを起動したら,Hadoopのファイル・システムの上にディレクトリーを作成し,データ・ファイルをMacのファイル・システムからHadoopのファイル・システムにコピーします..
#geshi(bash){{
$ hadoop fs -mkdir testdata
11/02/18 17:36:27 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
$ hadoop fs -put synthetic_control.data.txt testdata
11/02/18 18:10:00 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping; cacheTimeout=300000
}}


**実行 [#f99b0006]

すみません.
まだ実行できていません.

続きは,いずれまた.


*参考情報 [#qb4469d4]
-[[MacでMadoop (MapReduce):http://blog.suz-lab.com/2010/01/machadoopmap-reduce.html]] | suz-lab
-[[Mahoutを試してみた:http://blog.suz-lab.com/2010/01/mahout.html]] | suz-lab

トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS