Pythonで前処理する

2018-07-24 (火) 13:34:30 (64d) | Topic path: Top / 機械学習 / Pythonで前処理する

目次

はじめに

Pythonの機械学習ライブラリーscikit-learnを用いて機械学習を行うには、入力をNumPy行列にする必要があります。

scikit-learnを使うととても簡単に機械学習ができますが、実際にscikit-learnを使って機械学習をしようとすると、scikit-learnに入力するNumPy行列を作る前処理の方が大変です。

ここでは、前処理(カテゴリー変数の変換、欠損値の処理、標準化)について説明します。

環境はこれまでと同じです。

例として、銀行マーケティングのデータセットを用います。

データの読み込み

データは、Excelなどの表計算ソフトを使って用意し、CSVファイルとして書き出します。

このCSVファイルを、Pandasを使って読み込みます。

import pandas as pd
df_bank = pd.read_csv('bank.csv')

ここでは、bank.csvがCSVファイルの名前です。

最初の列が事例IDの場合は、index_col オプションに列番号を指定します。(列番号は 0 から始まります。)

df_bank = pd.read_csv('bank.csv', index_col=0)

カテゴリー変数の変換

scikit-learnは、NumPy行列を入力とします。 このため、scikit-learnには数値しか入力できません。

一般的なカテゴリー変数は文字列で表されているため、これを変換する必要があります。

ここでは、二つの方法を説明します。

  • カテゴリー変数を数値に置換する
  • カテゴリー変数をダミー変数に変換する

数値に置換

カテゴリー変数の値を数値に置き換えるには、map()メソッドやreplace()メソッドを使います。

例えば、銀行マーケティングのデータセットには month という名前のカテゴリー変数があり、値として jan, feb, ... という月の名前を取っています。

map()メソッドを用いて、月を表す名前を数値に置き換えます。

df_bank['month'] = df_bank['month'].map({'jan':1, 'feb':2, 'mar':3, 'apr':4, 'may':5, 'jun':6, 'jul':7, 'aug':8, 'sep':9, 'oct':10, 'nov':11, 'dec':12})

ダミー変数に変換

カテゴリー変数の値ごと変数を作り、その値なら 1、そうでないなら 0 とする変数に変換します。 このようにして作成された変数をダミー変数といいます。

例えば、銀行マーケティングのデータセットには、maritalという名前の説明変数があり、値として married, single, divorced という値を取っています。

agemarital
39married
51married
36single
34divorced

maritalをダミー変数にすると次のようになります。

agemarital_marriedmarital_singlemarital_divorced
39100
51100
36010
34001

実際には、married でも single でもなければ divorced であることがわかるので、一つを取り除き、[math]k[/math] 種類の値を取るカテゴリー変数から [math]k - 1[/math] 個のダミー変数を作成します。

agemarital_marriedmarital_single
3910
5110
3601
3400

ダミー変数は、Pandasの get_dummies 関数を用いて作成します。

dummy = pd.get_dummies(df_bank[['marital']], drop_first=True)

drop_first オプションは、ダミー変数の数を一つ減らすためのものです。 (get_dummiesの結果はデータフレームになります。)

get_dummiesメソッドには複数のカテゴリー変数を指定できるので、実際には、全てのカテゴリー変数をまとめて変換します。

dummies = pd.get_dummies(df_bank[['marital', 'education', 'default', 'housing', 'loan', 'contact',  'duration', 'poutcome']], drop_first=True)

ダミー変数を作成したら、データフレームにダミー変数をマージして、カテゴリー変数を取り除きます。

df_bank = df_bank.merge(dummies, left_index=True, right_index=True)
df_bank = df_bank.drop(['marital', 'education', 'default', 'housing', 'loan', 'contact',  'duration', 'poutcome'], axis=1)

欠損値の処理

一般的なデータには欠損値(値がない項目)があります。

欠損値に対応していない機械学習手法を使うときには、欠損値を処理しておく必要があります。

ここでは、三つの方法を説明します。

  • 欠損値が多い説明変数の除去
  • 欠損値を含むデータの除去
  • 値の補完

欠損値を含むデータをPandasのread.csv()メソッドで読み込むと、numpy.NaN になります。

今回、例に用いている銀行マーケティングのデータセットでは、欠損値が 'unknown' となっています。 そこで、まず初めに、CSVファイルを読み込んだ直後に 'unknown' を numpy.NaN に置換し、欠損値とします。

import numpy as np
import pandas as pd
df_bank = pd.read_csv('bank.csv')
df_bank = df.bank.replace('unknown', np.NaN)

欠損値が多い説明変数の除去

そもそも、欠損値が多く、重要でない説明変数を使わないようにすれば、欠損値の問題を回避できます。

説明変数を取り除くには、pandas.DataFrameのdrop()メソッドを使います。

df_bank = df_bank.drop('poutcome', axis=1)

オプションの axis=1 は、列を削除します(行を削除するときは axis=0)。

欠損値を含むデータの除去

データの数が十分に多く、かつ、欠損値を含むデータが少ないときは、欠損値を含むデータを取り除いても学習される予測モデルには大きな影響がないことが期待できます。

欠損値を含むデータを取り除くには、pandas.DataFrameのdropna()メソッドを使います。

df_bank = df_bank.dropna(how='any')

オプションの how='any' は、NumPy.NaN を一つでも含む行を削除します。

値の補完

データの数が少ないときや欠損値を含むデータが多いときは、欠損値を含むデータを取り除いてしまうと、学習される予測モデルが悪くなってしまいます。

そこで、このような場合には、欠損値に平均値、中央値、最頻値などを補完します。

今回の銀行マーケティングのデータセットでは、欠損値は全てカテゴリー変数に含まれているので、例として、poutcomeのsuccessを 1、failureを 0 にカテゴリー変数を変換します。

df_bank['poutcome'] = df_bank['poutcome'].map({'success':1, 'failure':0})

欠損値に値を補完するには、sklearn.preprocessingのImputerを使います。

from sklearn.preprocessing import Imputer
imp = Imputer(missing_values='NaN', strategy='most_frequent', axis=0)
df_bank['poutcome'] = imp.fit_transform(df_bank['poutcome'].values.reshape(-1, 1))

Imputerを作成するときの missing_valueオプションには欠損値の値を指定します。 strategyオプションには補完する値を指定し、平均値を補完するときは 'mean'、中央値を補完するときは 'median'、最頻値を補完するときは 'most_frequent' とします。 axis=0 は列ごとに補完することを表します。

Imputerによる補完は、fit()メソッドで補完する値を求め、transform()メソッドで欠損値を補完する、という手順で行います。 上の例では、この手順を一度に行うfit_transform()メソッドを用いています。

スケーリング

説明変数の値域のスケールが大きく異なると、学習された予測モデルのパラメーター(例えば、線形回帰分析の係数)を比較することが難しくなります。

そこで、説明変数の値が同じくらいになるように変換します。 これをスケーリングといいます。

標準化

統計学の分野でよく用いられるスケーリングが、説明変数が平均 0、標準偏差 1 となるように説明変数の値 [math]x[/math] をzスコア [math]z[/math] に変換する、標準化 (Standardize) です。 \[ z = \frac{x - \mu}{\sigma} \] ここで、[math]\mu[/math] は平均値、[math]\sigma[/math]は標準偏差を表します。

zスコアに標準化することによって、説明変数が正規分布にしたがっているとき、[math][-1, 1][/math] の範囲に約68.3%のデータが、[math][-2, 2][/math] の範囲に約95.5%のデータが、[math][-3, 3][/math] の範囲に約99.7%のデータが含まれるようになります。

標準化するには、sklearn.preprocessingのStandardScalerを使います。

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
df_bank['age'] = sc.fit_transform(df_bank['age'].values.reshape(-1, 1))

StandardScalerによる標準化も、Imputerによる補完と同じように、fit()メソッドを用いて平均と標準偏差を求め、transform()メソッドを用いてzスコアに変換します。 この例でも、fitとtransformを一度に行うfit_transform()メソッドを用いています。

ageは整数なので、実際に標準化すると int64 が float64 になっちゃったよという警告が出ます。

min-maxスケーリング

zスコアによる標準化は、データが正規分布にしたがっていることを前提としています。 しかし、例えば誕生月は正規分布にはなりませんので、zスコアによる標準化は適していません。

そこで、データを一様分布と仮定して、最小値が 0、最大値が 1 となるように変換するスケーリングが、min-maxスケーリングです。 \[ x' = \frac{x - \min}{\max - \min} \] ここで、[math]\min[/math] は最小値、[math]\max[/math] は最大値を表します。

min-maxスケーリングを行うには、sklearn.preprocessingのMinMaxScalerを使います。

from sklearn.preprocessing import MinMaxScaler
sc = minmax_scale()
df_bank['age'] = sc.fit_transform(df_bank['age'].values.reshape(-1, 1))
トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS