Kerasの使い方まとめ【入門者向け】

こんにちは。sinyです。

この記事ではディープラーニングのライブラリの１つであるKerasの基本的な使い方について記載しています。

今のところはディープラーニング設計でKerasを利用しているのですが、たびたび利用方法を忘れていしまうことが多々あるため、備忘録としてKerasでよく扱う機能について使い方をまとめます。

Kerasの基本構成

ワークフレームの方式

ディープラーニング開発のフレームワークにはいろいろな種類がありますが、Kerasは「Define-and-run」と呼ばれる方式のフレームワークです。

これは、ニューラルネットワークモデル構成を定義してからデータを投入するという方式です。

モデルの定義方法

Kerasにはニューラルネットワークモデルを定義する2つの方法があります。

１つは「Sequentialクラス」を利用する方法、もう１つは「Functional API」を利用する方法です。

Sequentialクラスは入力と出力が必ず１つずつのネットワーク構成しか定義することができません。
また、中間の層内でネットワークを分岐させるような構成も作れません。（層の線形スタック構成）

一方、Functional APIは完全カスタムなネットワーク構成を定義することができます。
入力が２つ、出力が1つといったネットワークを定義することができます。

Kerasの基本機能

Sequentialモデル

モデル定義

Sequentialモデル定義の基本的な例

#学習鵜モデルの定義
from keras import layers
from keras import models


model = models.Sequential()
model.add(Dense(10, activation='relu', input_shape=(4,)))   
model.add(Dense(3, activation='softmax'))

上記は以下のニューラルネットワークモデルを定義したことになります。

モデル構造のコンパイル

基本的にモデルのcompileには３つの引数を指定する。

サンプルコード

from keras import optimizers

model.compile(loss='categorical_crossentropy',
              optimizer='rmsprop',
              metrics=['acc'])

損失関数

損失関数の選択の目安（一般的に役立つ可能性がある組み合わせ）

学習の実行

学習はfitメソッドで実行する。

model.fit(x_train, y_train,
    batch_size=20,
    epochs=300)

• fitメソッドの戻り値

  History オブジェクト． History.history 属性は 実行に成功したエポックにおける訓練の損失値と評価関数値の記録と，（適用可能ならば）検証における損失値と評価関数値も記録される。

• loss
  →学習データでの損失値
• va_loss
  →検証データでの損失値
• acc
  →学習データでの正解率
• val_acc
  →検証データでの正解率
• lossとval_lossは以下のように抽出できる。

  <model>.history['loss'] <model>.history['val_loss']

モデルの評価

モデルの評価はevaluateメソッドを使う。

サンプルコード

score = model.evaluate(x_test, y_test, verbose=1			
print('正解率=', score[1], 'loss=', score[0]			

モデルの保存とロード

学習したモデルはファイルへ保存、ファイルからロードができる。

from keras.models import load_model		
model.save('****.h5')		
model = load_model('****.h5')		

重みの保存とロード

重みの保存とロードは以下のように実施できます。

model.save_weights('param.hdf5')  #保存

model.load_weights('param.hdf5')  #ロード

重みの確認

重みをロードした場合に以下のようなエラーが発生する場合があります。

この場合は、定義されたモデルのレイヤーと保存された重みのレイヤーが異なっている可能性があるので、各レイヤーがどうなっているか確認してみるとよいです。

定義済みモデルの重みは<モデル名>.weightsで確認できます。

discriminator.weights

[<tf.Variable 'conv2d_13/kernel:0' shape=(3, 3, 3, 32) dtype=float32_ref>, <tf.Variable 'conv2d_13/bias:0' shape=(32,) dtype=float32_ref>, <tf.Variable 'conv2d_14/kernel:0' shape=(3, 3, 32, 64) dtype=float32_ref>, <tf.Variable 'conv2d_14/bias:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'batch_normalization_18/gamma:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'batch_normalization_18/beta:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'conv2d_15/kernel:0' shape=(3, 3, 64, 128) dtype=float32_ref>, <tf.Variable 'conv2d_15/bias:0' shape=(128,) dtype=float32_ref>, <tf.Variable 'batch_normalization_19/gamma:0' shape=(128,) dtype=float32_ref>, <tf.Variable 'batch_normalization_19/beta:0' shape=(128,) dtype=float32_ref>, <tf.Variable 'dense_8/kernel:0' shape=(8192, 1) dtype=float32_ref>, <tf.Variable 'dense_8/bias:0' shape=(1,) dtype=float32_ref>, <tf.Variable 'batch_normalization_18/moving_mean:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'batch_normalization_18/moving_variance:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'batch_normalization_19/moving_mean:0' shape=(128,) dtype=float32_ref>, <tf.Variable 'batch_normalization_19/moving_variance:0' shape=(128,) dtype=float32_ref>]

save_weightsメソッドで保存したhdf5の中身を確認するには以下のコードを実行します。

import h5py
model_weights = h5py.File(<重みのファイル名>.hdf5', 'r')
print(model_weights.keys())

<KeysViewHDF5 ['activation_3', 'batch_normalization_15', 'batch_normalization_16', 'batch_normalization_17', 'conv2d_transpose_10', 'conv2d_transpose_11', 'conv2d_transpose_12', 'conv2d_transpose_9', 'dense_7', 'leaky_re_lu_19', 'leaky_re_lu_20', 'leaky_re_lu_21', 'reshape_3']>

画像データ（CNN)の扱い

画像データを扱う場合は通常2次元のConv2D層を利用します。

分散表現

Embeddingはオブジェクトをベクトルにマップするので、アプリケーションはベクトル空間における類似性 (e.g., ユークリッド距離やベクトル間の角度) をオブジェクトの類似性の堅牢で柔軟な尺度として利用できる。

Tokenizer

テキストをベクトル化する、またはテキストをシーケンス化してくれるクラス。

サンプルコード

text = "I love green eggs and ham ."
tokenizer = Tokenizer()
tokenizer.fit_on_texts()
#fit_on_textsメソッドを通した後に、word_indexメソッドで抽出すると、以下の通り単語とそのIDの変換を行ってくれる。
tokenizer.word_index
Out[12]:
{'and': 5, 'eggs': 4, 'green': 3, 'ham': 6, 'i': 1, 'love': 2}

※辞書型のデータ（単語トークンのリスト）が生成される。｛単語：キー｝

One-hot表現への変換

ある値をOne-hot表現に変換したい場合にKerasのto_categoricalが便利です。
第1引数にリスト形式のデータ、num_classesにOne-hot表現の数を指定します。

以下、参考例です。

from keras.utils import to_categorical
test = [0,5,3,2,2,9,3,3,2,1]
one_hot = to_categorical(test, num_classes=10)
print(one_hot)


[[1. 0. 0. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 0. 0. 0. 0. 0. 0. 1.]
 [0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
 [0. 0. 0. 1. 0. 0. 0. 0. 0. 0.]
 [0. 0. 1. 0. 0. 0. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0. 0. 0. 0. 0. 0.]]

重みの正規化

KerasでL2正規化を適用する例

# 重みにL2正規化を適用したモデル
from keras import regularizers

l2_model = models.Sequential()
l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
                          activation='relu', input_shape=(10000,)))
l2_model.add(layers.Dense(16, kernel_regularizer=regularizers.l2(0.001),
                          activation='relu'))
l2_model.add(layers.Dense(1, activation='sigmoid'))

Dropアウト

通常Dropアウト率は0.2～0.5に設定する。

KerasでのDropアウトの適用例

model.add(layers.Dropout(0.5))

Keras functional API

Functional APIは定義した層を任意に連結できる。
層の定義の最後に連結したい層の名前を（）付きで書くと層が連結されていく。

input_1 = Input(shape=(None,))
name_2 = layers.Embedding(）(input_1）
name_3 = layers.LSTM(32)(name_2)
name_4 = layers.LSTM(32)(name_3)

2つの入力を元にLSTM層に入力して、結合して1つの出力を得るモデル定義の例

from keras import Model
from keras import layers
from keras import Input
#入力Aを定義
input_a = Input(shape=(None,), name="input_a")
#入力Aを畳み込み
embedded_a = layers.Embedding(1000,64)(input_a)
#入力AをLSTMでエンコード
encoded_a = layers.LSTM(32)(embedded_a)

#入力Bを定義
input_b = Input(shape=(None,), name="input_b")
#入力Bを畳み込み 
embedded_b = layers.Embedding(1000,64)(input_b)
#入力BをLSTMでエンコード 
encoded_b = layers.LSTM(32)(embedded_b)

#emcoded_aとencoded_bを結合
concatenated = layers.concatenate([encoded_a , encoded_b], axis=-1)
#出力層を定義
output = layers.Dense(500, activation="softmax")(concatenated)

#モデル全体の定義(リスト形式で複数の入力を指定する）
model = Model([input_a, input_b], output)
model.compile(optimizer="rmsprop",
             loss="categorical_crossentropy",
             metrics=["acc"])

上記コードは、以下のネットワークを定義したことになる。

単一入力、多出力モデルの例

入力が１つ、A,B,C3つの出力を行うモデル定義の例

input = Input(shape=(None,),name="input")
embedded_input = layers.Embedding(256, 1000)(input)
x = layers.Conv1D(128,5 ,activation="relu")(embedded_input)
x = layers.MaxPooling1D(5)(x)
x = layers.Conv1D(128,5 ,activation="relu")(x)
x = layers.Dense(128, activation="relu")(x)

A = layers.Dense(1, name="A")(x)
B = layers.Dense(3,activation="softmax",name="B")(x)
C = layers.Dense(1, activation="sigmoid",name="C")(x)
model = Model(input,[A,B,C])

model.compile(optimizer="rmsprop",
             loss=["mse", "categorical_crossentropy", "binary_crossentropy"])

モデルのネットワークは以下の通り。

オートエンコーダで2入力、2出力を定義した場合の例

入力も出力も複数ある場合は、

autoencoder = Model([cpu_input, memory_input], [decoded_cpu, decoded_memory])

のようにリストで入力、出力層の定義名を指定すればよい。

w_size = 100 # ウィンドウサイズ
l1=10e-7  # L1正則化のパラメータ
enc_dim = 512  # 隠れ層のユニット数

cpu_input = Input(shape=(w_size,),name="cpu_input")
encoded_cpu = Dense(enc_dim, activation='relu', 
                activity_regularizer=regularizers.l1(l1))(cpu_input)
decoded_cpu = Dense(w_size, activation='relu',name="cpu_output")(encoded_cpu)

memory_input = Input(shape=(w_size,),name="memory_input")
encoded_memory = Dense(enc_dim, activation='relu', 
                activity_regularizer=regularizers.l1(l1))(memory_input)
decoded_memory = Dense(w_size, activation='relu',name="memory_output")(encoded_memory)


autoencoder = Model([cpu_input, memory_input], [decoded_cpu, decoded_memory])
autoencoder.compile(optimizer='adadelta',  
                    loss=['binary_crossentropy', 'binary_crossentropy'])

ネットワーク図は以下の通り。

トレーニングは、fitメソッドの入力、ラベル部分にリスト形式でデータを指定すればよい。

# モデルの学習
early_stopping = EarlyStopping(patience=2, verbose=1)


epochs = 1000
history = autoencoder.fit([X_train_cpu,X_train_mem], 
                          [X_train_cpu,X_train_mem],
                          epochs=epochs,
                          batch_size=None,                    
                          verbose=1,
                          callbacks=[early_stopping])

その他

pad_sequences

シーケンスを同じ長さになるように詰めてくれる機能。

• padding: 文字列，'pre'または'post'．各シーケンスの前後どちらを埋めるか．
• truncating: 文字列，'pre'または'post'．maxlenより長いシーケンスの前後どちらを切り詰めるか．

※参考コード

a1 = [1,2,3,4]
a2 = [1,2,3,4,5,6,7,8,9,10]
print(pad_sequences([a1], maxlen=8, padding='pre', truncating='pre')[0])
print(pad_sequences([a1], maxlen=8, padding='post', truncating='pre')[0])
print(pad_sequences([a1], maxlen=8, padding='pre', truncating='post')[0])
print(pad_sequences([a1], maxlen=8, padding='post', truncating='post')[0])
print(pad_sequences([a2], maxlen=8, padding='pre', truncating='pre')[0])
print(pad_sequences([a2], maxlen=8, padding='post', truncating='pre')[0])
print(pad_sequences([a2], maxlen=8, padding='pre', truncating='post')[0])
print(pad_sequences([a2], maxlen=8, padding='post', truncating='post')[0])

#実行結果

[0 0 0 0 1 2 3 4]
[1 2 3 4 0 0 0 0]
[0 0 0 0 1 2 3 4]
[1 2 3 4 0 0 0 0]
[ 3  4  5  6  7  8  9 10]
[ 3  4  5  6  7  8  9 10]
[1 2 3 4 5 6 7 8]
[1 2 3 4 5 6 7 8]

こちらの記事も参考になります。

Qiita

 

2 Users

kerasのpad_sequencesを使うときはdtypeを指定しなければいけない理由 - Qiita

https://qiita.com/shinochin/items/59310516324c6cbf943c

## kerasのpad_sequencesとは各ベクトルの長さが揃っていないとき、0をつけたすorカットすることで同じ長さに揃えるためのメソッドです。例えば・・・```>>> from keras.preprocess...

パラメータの固定化

訓練時にパラメータを工程にして更新されないようにするにはモデルのtrainable属性をFalseに設定する。

<モデル名>.trainable = False

なお、モデルをcompile後にtrainbale属性を変更した場合は、設定を反映させるために再度compileする必要がある。

Django入門おすすめノート

note（ノート）

 

1 Pocket

Django WEBアプリ開発コース｜siny｜note

https://note.mu/shinya_hd/m/m7c72d8925919

以下のコースをまとめた割引プランです。 ・Djangoで毎月の出費を分析できる家計簿アプリをつくろう！【基礎編】 ￥980・Djangoで毎月の出費を分析できる家計簿アプリをつくろう！【応用編】 ￥500￥1,500相当のチュートリアルを、セット割で￥1,000で販売します。Djangoの環境構築からCRUD WEBアプリ開発+α Djangoの応用事例を学習したい人にお勧めです。ボリュームは約13万字ありますので、200～300ページ程度の技術書と同等のボリュームがあると思います。初心者用に図解を多く（約90枚）取り入れて、説明も多く掲載しています。