- 追加された行はこの色です。
- 削除された行はこの色です。
*目次 [#jf18b28d]
#contents
*はじめに [#a3b569c5]
scikit-learnは機械学習ライブラリーです。
多くの機械学習手法を同じような方法で使うことができますので、共通部分を押さえておくと、アルゴリズムをよく知らない機械学習手法であっても、とりあえず使ってみることができます。
そこで、ここでは、その共通部分について説明し、scikit-learnで使うことができる代表的な機械学習アルゴリズムを紹介します。
*機械学習と予測モデル [#j09bc4c2]
機械学習では、データから''予測モデル''を学習します。
予測モデルへの入力は、一つだけとは限らず、一般的には複数の値が入力されます。
予測モデルからの出力も、一般的に一つだけとは限りませんが、基礎的な機械学習では一つです。
そこで、予測モデルへの入力はベクトル [math]X[/math] と表し、予測モデルからの出力はスカラー（値）[math]y[/math] と表します。
訓練データに出力値 [math]y[/math] が与えられているものを''教師付き学習''、与えられていないものを''教師なし学習''といいます。
**教師付き学習 [#gbee4a0a]
教師付き学習では、入力 [math]X[/math] とそれに対応する出力 [math]y[/math] の組 [math](X,\,y)[/math] の集合 [math]\mathcal{D}[/math] から、
\[ y = f(X) \]
となる関数 [math]f[/math] を求めます。
この関数 [math]f[/math] が予測モデルです。
出力 [math]y[/math] がカテゴリー、ラベル、クラスといった、離散値のとき、この問題を''分類'' (clasiffication, categorization)といいます。
出力 [math]y[/math] が数値（連続値）のとき、この問題を''回帰'' (regression)といいます。
**教師なし学習 [#ab63a04d]
教師なし学習は、入力 [math]X[/math] の集合 [math]\mathcal{D}[/math] だけから、関数 [math]f[/math] を求めます。
（正解となるグループはわかっていないが）データをいくつかのグループに分ける問題を''クラスタリング'' (clustering)といいます。
*Pythonプログラムの書き方 [#v35d25fc]
**ライブラリーの読み込み [#jcd3ab0b]
ライブラリー名は ''sklearn'' です。
NumPyやpandasのサンプル・コードはライブラリー全体を読みますが、scikit-learnのサンプル・コードは必要なクラスだけを読み込んでいます。
例えば、決定木のクラス sklearn.tree.DecisionTreeClassifier を読み込むには、次のようにします。
#geshi(python){{
from sklearn.tree import DecisionTreeClassifier
}}
**予測モデル学習器の生成 [#xc006ff2]
学習アルゴリズムのクラスのコンストラクターを使うと、デフォルトの学習パラメーターを用いた予測モデル学習器を生成することができます。
例えば、決定木の学習器を生成するには、次のようにします。
#geshi(python){{
clf = DecisionTreeClassifier()
}}
ここで、clfは学習器のオブジェクトを格納しておく変数で、classifierの略です。
回帰のときはregressorの略であるregrを使います。
学習アルゴリズムごとに独自の学習パラメーターがあり、コンストラクターへの引数で設定することができます。
例えば、木の深さ max_depth という学習パラメーターを 3 に設定する場合は、次のようにします。
#geshi(python){{
clf = DecisionTreeClassifier(max_depth=3)
}}
各アルゴリズムの学習パラメーターについては、ドキュメントを参照してください。
-[[API Reference:http://scikit-learn.org/stable/modules/classes.html]] - scikit-learn
**予測モデルの学習 [#o07b01f7]
どの予測モデル学習器にも予測モデルを学習するためのfit関数が用意されていて、これを呼び出すだけで予測モデルを学習することができます。
教師付き学習の予測モデルを学習する場合、入力 [math]X[/math] と出力 [math]y[/math] を引数として渡します。
#geshi(python){{
clf.fit(X, y)
}}
教師なし学習の予測モデルを学習する場合、入力 [math]X[/math] だけを引数として渡します。
#geshi(python){{
clf.fit(X)
}}
入力 [math]X[/math] と出力 [math]y[/math] を用意する方法については、次のページを見てください。
-[[Pythonでデータ分析する次の一歩（データ分析支援ライブラリー、pandas編）>機械学習/Pythonでデータ分析する次の一歩（データ分析支援ライブラリー、pandas編）]] - とうごろうぃき
-[[Pythonで決定木を使う>機械学習/Pythonで決定木を使う]] - とうごろうぃき
**学習した予測モデルの評価 [#nd6d9a30]
どの予測モデル学習器にも学習した予測モデルを評価するためのscore関数が用意されていて、これを呼び出すだけで学習した予測モデルを評価することができます。
ただし、評価基準は予測モデル学習器ごとに異なります。
教師付き学習の予測モデルを評価する場合、入力 [math]X[/math] と出力 [math]y[/math] を引数として渡します。
#geshi(python){{
clf.score(X, y)
}}
教師なし学習の予測モデルを学習する場合、入力 [math]X[/math] だけを引数として渡します。
#geshi(python){{
clf.score(X)
}}
*分類分析 [#j32309c9]
**決定木 [#w0c97b40]
決定木 (Decision Tree) 学習は、木構造の分類規則（決定木）を学習します。
#geshi(python){{
from sklearn.tree import DecisionTreeClassifier
clf = DecisionTreeClassifier()
clf.fit(X, y)
}}
学習パラメーターには、節の評価基準 criterion、木の深さ max_depth などがあります。
**ランダム・フォレスト [#ab683f82]
ランダム・フォレスト (Random Forest) は、たくさんの決定木をランダムに生成し、いいものを組み合わせて予測モデルを作成します。
#geshi(python){{
from sklearn.ensemble import RandomForestClassifier
clf = RandomForestClassifier()
clf.fit(X, y)
}}
学習パラメーターには、決定木と同じものに加えて、決定木の数 n_estimators、乱数のシード random_state などがあります。
**XGBoost [#u3447b99]
ランダム・フォレストはランダムにたくさんの決定木を作成しますが、XGboostは決定木を一つずつ作っていく勾配ブースティング (Gradient Boosting) という方法を採用しています。
#geshi(python){{
from sklearn.ensemble import GradientBoostingClassifier
clf = GradientBoostingClassifier()
clf.fit(X, y)
}}
学習パラメーターには、ランダム・フォレストと同じものに加えて、損失関数 loss、学習率 learnin_rate などがあります。
**サポート・ベクター・マシン (SVM, SVC) [#m78bfcf8]
SVC (Support Vector Classififier) は、境界線（面、超平面）に最も近いデータまでの距離（マージン）が最大となるような境界線を求めます。
カーネル・トリックと呼ばれる方法で、線形分離不可能な問題も解くことができます。
もともとSVM (Support Vector Machine) と呼ばれていましたが、同じ原理で回帰を行うSVRと区別するためにSVCとも呼ばれます。
#geshi(python){{
from sklearn.svc import SVC
clf = sklearn.svm.SVC()
clf.fit(X, y)
}}
学習パラメーターには、カーネルの種類 kernel、正則化パラメーター C などがあります。
カーネルによる独自のパラメーターもあります。
**ニューラル・ネットワーク (NN) [#d909282b]
人間の脳の神経回路網をモデルにしたニューラル・ネットワーク (Neural Network) を学習します。
分類問題では、多層パーセプトロン (Multi-layer Perceptron) を用います。
#geshi(python){{
from sklearn.neural_network import MLPClassifier
clf = MLPClassifier()
clf.fit(X, y)
}}
学習パラメーターには、隠れ層のユニット数 hidden_layer_sizes、活性化関数 activation、最適化手法 solver、正則化パラメーター alpha、学習率 learning_rate などがあります。
**判別分析 [#s114138e]
データの分布が正規分布に従っているものとして、データを二つに分けるための判別関数を解析的に求めます。
#geshi(python){{
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
clf = LinearDiscriminantAnalysis()
clf.fit(X, y)
}}
学習パラメーターには、最適化手法 solver などがあります。
**二項ロジスティック回帰分析 [#nf917add]
ロジスティック関数を用いてデータがクラスに所属する確率を予測するモデルを学習します。
出力が確率である予測モデルを学習する回帰問題として学習し、予測した所属確率が最も高いクラスに分類して分類問題に適用します。
#geshi(python){{
from sklearn.linear_model import LogisticRegression
regr = LogisticRegression()
regr.fit(X, y)
}}
学習パラメーターには、正則化手法 penalty、最適化手法 solver などがあります。
*回帰分析 [#hcc4e0bc]
**線形回帰 (OLS) [#r2438ce6]
**Lasso [#qfdb0440]
**Ridge [#xd7b0fe7]
**サポート・ベクター回帰 (SVR) [#h5a2ea7e]
**ニューラル・ネットワーク (NN) [#n6f76060]
*クラスター分析 [#pd613872]
**k-平均法 [#f0dcc483]
**階層クラスタリング [#m1a95183]
**混合ガウス分布推定 [#s4f3e483]
![[PukiWiki]](https://xn--p8ja5bwe1i.jp:443/wiki/image/banner.png "[PukiWiki]")
