- バックアップ一覧
- 差分 を表示
- 現在との差分 を表示
- ソース を表示
- 機械学習/MacでTensorFlowを使う へ行く。
- 1 (2016-04-11 (月) 11:02:57)
- 2 (2016-04-11 (月) 11:03:28)
- 3 (2016-04-14 (木) 13:10:45)
- 4 (2016-04-15 (金) 18:48:36)
- 5 (2016-04-16 (土) 09:31:26)
- 6 (2016-04-16 (土) 11:08:22)
- 7 (2016-04-19 (火) 00:10:26)
- 8 (2016-04-19 (火) 00:56:36)
- 9 (2016-04-19 (火) 18:19:26)
- 10 (2016-04-19 (火) 18:19:26)
- 11 (2016-04-19 (火) 18:19:26)
- 12 (2017-06-19 (月) 19:23:31)
- 13 (2017-06-20 (火) 08:33:44)
- 14 (2017-06-20 (火) 08:33:44)
- 15 (2017-07-24 (月) 14:38:39)
はじめに †
ここでは、Googleが公開しているオープン・ソース・ソフトウェア (OSS) のTensorFlowをMac (OS X) にインストールして使います。
環境 †
- OS X Yosemite 10.10.5
- Python 3.5.1
- TensorFlow 0.7
Python3のインストール(アップグレード) †
まず、Python3を最新版にアップグレードします。 下記のサイトからMac OS X 64-bit/32-bit installerをダウンロードして、インストール。
TensorFlowのインストール †
基本的にはここに書いてある通りなんですが、なぜかsixのeasy_installが先にできなかったので、順序を逆にしました。
- Download and Setup - TensorFlow
$ sudo easy_install pip $ sudo pip3 install --upgrade pip
Virtualenvのインストール †
$ sudo pip3 install --upgrade virtualenv $ virtualenv --system-site-packages -p python3 /Users/Shared/tools/tensorflow $ source /Users/Shared/tools/tensorflow/bin/activate (tensorflow)$ sudo pip3 install --upgrade tensorflow (tensorflow)$ deactivate
私の研究室では、共有フォルダーのtoolsというフォルダー (/Users/Shared/tools/) に、みんなで使うツールをインストールしています。 /Users/Shared/tools/tensorflow を ~/tensorflow などTensorFlowをインストールしたいフォルダーに変更してください。
TensorFlowを動かす †
TesorFlowのサイトに掲載されているHello Worldを動かします。
- Test the TensorFlow installation - TensorFlow
$ source /Users/Shared/tools/tensorflow/bin/activate (tensorflow) $ python3 Python 3.5.1 (v3.5.1:37a07cee5969, Dec 5 2015, 21:12:44) [GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin Type "help", "copyright", "credits" or "license" for more information.
TensorFlowでIrisをやってみる †
TensorFlowの最初のチュートリアルは手書き数字認識のMNISTですが、irisデータセットで分類をやってみます。
データの準備 †
irisデータセットは、4つの説明変数(花びらの長さ、幅、がく片の長さ、幅)とカテゴリー (setosa, versicolor, virginica) からなるデータセットです。
UCI Machine Learning Repositoryからファイル iris.data をダウンロードします。 中身はこんな感じです。
>>> import tensorflow as tf >>> node1 = tf.constant(3.0, dtype=tf.float32) >>> node2 = tf.constant(4.0) >>> sess = tf.Session() 2017-06-20 08:28:06.121472: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations. 2017-06-20 08:28:06.121492: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations. 2017-06-20 08:28:06.121498: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations. 2017-06-20 08:28:06.121502: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations. >>> print(sess.run([node1, node2])) [3.0, 4.0] >>> node3 = tf.add(node1, node2) >>> print(sess.run(node3)) 7.0 >>> quit() (tensorflow) $ deactivate
3クラスの分類なので、カテゴリーのラベルを3次元の0/1ベクトルに変換します。 つまり、setosaは 1,0,0、versicolorは 0,1,0、virginicaは 0,0,1 とします。
irisデータには、それぞれ、50個ずつ150個のデータが並んでいるので、次のように変換します。
$ head -5 iris.data 5.1,3.5,1.4,0.2,Iris-setosa 4.9,3.0,1.4,0.2,Iris-setosa 4.7,3.2,1.3,0.2,Iris-setosa 4.6,3.1,1.5,0.2,Iris-setosa 5.0,3.6,1.4,0.2,Iris-setosa
これで、データの準備は完了です。 このデータをdataフォルダーにおいておきます。
分類用ソースコード †
TensorFlowのTutorialsについてる最初の手書き文字データセットMNIST用のサンプルをほとんどそのまま使ったソースコードはこんな感じです。
$ head -50 iris.data | awk -F, '{printf("%s,%s,%s,%s,1,0,0\n",$1,$2,$3,$4);}' > iris.csv $ head -100 iris.data | tail -50 | awk -F, '{printf("%s,%s,%s,%s,0,1,0\n",$1,$2,$3,$4);}' >> iris.csv $ head -150 iris.data | tail -50 | awk -F, '{printf("%s,%s,%s,%s,0,0,1\n",$1,$2,$3,$4);}' >> iris.csv
MNISTからいくつか変更点があります。
- iris.csvからデータを読み込む
- データをシャッフルして120個を訓練データに、残りの30個をテスト・データにする
- 入力は4次元、出力は3次元
- 中間層(活性化関数はReLU)を追加
- 入力層は4x64ユニット、中間層は64x64ユニット、出力層は64x3ユニット
- クロス・エントロピーの定義を変更(元の定義だとNaNになってしまうことがあるため)
- TensorBoardにグラフを出力しない(エラーになってしまうため)
- 10回中9回学習して1回テストを行うのではなく、毎回学習とテストを行う
- 標準出力に精度とクロス・エントロピーを出力
実行 †
# Copyright 2016-2017 Tohgoroh Matsui All Rights Reserved. # # Changes: # 2017-06-19 Changed for TensorFlow 1.2 # # # This includes software developed by Google, Inc. # licensed under the Apache License, Version 2.0 (the 'License'); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an 'AS IS' BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. import tensorflow as tf import numpy as np # パラメーター flags = tf.app.flags FLAGS = flags.FLAGS flags.DEFINE_integer('samples', 120, 'Number of training samples.') flags.DEFINE_integer('max_steps', 1001, 'Number of steps to run trainer.') flags.DEFINE_float( 'learning_rate', 0.001, 'Initial learning rate.') flags.DEFINE_float( 'dropout', 0.9, 'Keep probability for training dropout.') flags.DEFINE_string( 'data_dir', 'data', 'Directory for storing data.') flags.DEFINE_string( 'summaries_dir', 'log', 'Summaries directory.') def train(): # CSVファイルの読み込み data = np.genfromtxt(FLAGS.data_dir + '/iris.csv', delimiter=",") # データをシャッフル np.random.shuffle(data) # 訓練データ (train) とテストデータ (test) に分割 x_train, x_test = np.vsplit(data[:,0:4].astype(np.float32), [FLAGS.samples]) y_train, y_test = np.vsplit(data[:,4:7].astype(np.float32), [FLAGS.samples]) # セッション sess = tf.InteractiveSession() # 入力 with tf.name_scope('input'): x = tf.placeholder(tf.float32, shape=[None, 4]) # 出力 with tf.name_scope('output'): y_ = tf.placeholder(tf.float32, shape=[None, 3]) # ドロップアウトのキープ率 with tf.name_scope('dropout'): keep_prob = tf.placeholder(tf.float32) tf.summary.scalar('dropout_keep_probability', keep_prob) # 重み(係数) def weight_variable(shape): initial = tf.truncated_normal(shape, stddev=0.1) return tf.Variable(initial) # バイアス(定数項) def bias_variable(shape): initial = tf.constant(0.1, shape=shape) return tf.Variable(initial) # for TensorBoard def variable_summaries(var, name): with tf.name_scope('summaries'): mean = tf.reduce_mean(var) tf.summary.scalar('mean/' + name, mean) with tf.name_scope('stddev'): stddev = tf.sqrt(tf.reduce_sum(tf.square(var - mean))) tf.summary.scalar('sttdev/' + name, stddev) tf.summary.scalar('max/' + name, tf.reduce_max(var)) tf.summary.scalar('min/' + name, tf.reduce_min(var)) tf.summary.histogram(name, var) # ニューラル・ネットワークの層 def nn_layer(input_tensor, input_dim, output_dim, layer_name, act=tf.nn.relu): with tf.name_scope(layer_name): with tf.name_scope('weights'): weights = weight_variable([input_dim, output_dim]) variable_summaries(weights, layer_name + '/weights') with tf.name_scope('biases'): biases = bias_variable([output_dim]) variable_summaries(biases, layer_name + '/biases') with tf.name_scope('Wx_plus_b'): preactivate = tf.matmul(input_tensor, weights) + biases tf.summary.histogram(layer_name + '/pre_activations', preactivate) activations = act(preactivate, name='activation') tf.summary.histogram(layer_name + '/acctivations', activations) return activations # 入力層 hidden1 = nn_layer(x, 4, 64, 'layer1') dropped1 = tf.nn.dropout(hidden1, keep_prob) # 中間層 hidden2 = nn_layer(dropped1, 64, 64, 'layer2') dropped2 = tf.nn.dropout(hidden2, keep_prob) # 出力層 y = nn_layer(dropped2, 64, 3, 'layer3', act=tf.nn.softmax) # クロス・エントロピー with tf.name_scope('cross_entropy'): #diff = y_ * tf.log(y) #with tf.name_scope('total'): # cross_entropy = -tf.reduce_mean(diff) cross_entropy = -tf.reduce_sum(y_*tf.log(tf.clip_by_value(y,1e-10,1.0))) tf.summary.scalar('cross entropy', cross_entropy) # 学習 with tf.name_scope('train'): train_step = tf.train.AdamOptimizer(FLAGS.learning_rate).minimize(cross_entropy) # 精度 with tf.name_scope('accuracy'): with tf.name_scope('correct_prediction'): correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1)) with tf.name_scope('accuracy'): accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32)) tf.summary.scalar('accuracy', accuracy) # for TensorBoard merged = tf.summary.merge_all() train_writer = tf.summary.FileWriter(FLAGS.summaries_dir + '/train', sess.graph) test_writer = tf.summary.FileWriter(FLAGS.summaries_dir + '/test') tf.global_variables_initializer().run() # データとドロップアウト・キープ率の切り替え def feed_dict(train): if train: xs, ys = x_train, y_train k = FLAGS.dropout else: xs, ys = x_test, y_test k = 1.0 return {x: xs, y_: ys, keep_prob: k} # 学習ルーチン for i in range(FLAGS.max_steps): # 学習 sess.run(train_step, feed_dict=feed_dict(True)) # 訓練データに対する評価 summary, acc, cp = sess.run([merged, accuracy, cross_entropy], feed_dict=feed_dict(True)) train_writer.add_summary(summary, i) # テスト・データに対する評価 summary, acc, cp = sess.run([merged, accuracy, cross_entropy], feed_dict=feed_dict(False)) test_writer.add_summary(summary, i) if i == 0 or i % np.power(10, np.floor(np.log10(i))) == 0: print('Accuracy and Cross-Entropy at step %s: %s, %s' % (i, acc, cp)) def main(_): if tf.gfile.Exists(FLAGS.summaries_dir): tf.gfile.DeleteRecursively(FLAGS.summaries_dir) tf.gfile.MakeDirs(FLAGS.summaries_dir) train() if __name__ == '__main__': tf.app.run()
TensorBoardによるログの確認 †
TensorBoardでログを確認します。
次のようにしてTensorBoardを起動すると、6006番ポートでHTTPサーバーが起動します。
(tensorflow) $ python3 tfc_iris.py 2017-06-19 18:32:23.449363: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations. 2017-06-19 18:32:23.449387: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations. 2017-06-19 18:32:23.449393: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations. 2017-06-19 18:32:23.449398: W tensorflow/core/platform/cpu_feature_guard.cc:45] The TensorFlow library wasn't compiled to use FMA instructions, but these are available on your machine and could speed up CPU computations. Accuracy and Cross-Entropy at step 0: 0.366667, 31.8714 Accuracy and Cross-Entropy at step 1: 0.3, 31.5792 Accuracy and Cross-Entropy at step 2: 0.3, 31.289 Accuracy and Cross-Entropy at step 3: 0.3, 31.0007 Accuracy and Cross-Entropy at step 4: 0.3, 30.7225 Accuracy and Cross-Entropy at step 5: 0.333333, 30.4467 Accuracy and Cross-Entropy at step 6: 0.4, 30.1522 Accuracy and Cross-Entropy at step 7: 0.5, 29.8428 Accuracy and Cross-Entropy at step 8: 0.566667, 29.5071 Accuracy and Cross-Entropy at step 9: 0.633333, 29.1437 Accuracy and Cross-Entropy at step 10: 0.666667, 28.7539 Accuracy and Cross-Entropy at step 20: 0.666667, 24.4503 Accuracy and Cross-Entropy at step 30: 0.666667, 19.725 Accuracy and Cross-Entropy at step 40: 0.666667, 15.7528 Accuracy and Cross-Entropy at step 50: 0.866667, 13.1522 Accuracy and Cross-Entropy at step 60: 0.9, 11.3919 Accuracy and Cross-Entropy at step 70: 0.933333, 9.89667 Accuracy and Cross-Entropy at step 80: 0.933333, 8.50913 Accuracy and Cross-Entropy at step 90: 0.933333, 7.18226 Accuracy and Cross-Entropy at step 100: 0.933333, 6.18636 Accuracy and Cross-Entropy at step 200: 0.933333, 4.82435 Accuracy and Cross-Entropy at step 300: 0.933333, 4.7089 Accuracy and Cross-Entropy at step 400: 0.933333, 5.20262 Accuracy and Cross-Entropy at step 500: 0.933333, 6.28935 Accuracy and Cross-Entropy at step 600: 0.933333, 6.46973 Accuracy and Cross-Entropy at step 700: 0.933333, 6.57728 Accuracy and Cross-Entropy at step 800: 0.933333, 7.21051 Accuracy and Cross-Entropy at step 900: 0.933333, 7.32343 Accuracy and Cross-Entropy at step 1000: 0.933333, 7.07634
Webブラウザーで http://localhost:6006 にアクセスします。
#ref(): File not found: "iris_c.png" at page "機械学習/MacでTensorFlowを使う"