機械学習で画像分類をしてみよう【python】

こんにちは。sinyです。

昨今、ディープラーニングが流行っていますが、今回はAverage Hashという基礎的な理論を使った類似画像検索プログラムをPythonで書いて検証してみました。

プログラム自体は至って簡単ですので、興味のある方はぜひ試してみてください。

Average Hashとは？

Average Hashは画像の形状を手軽に計算することができる手法の１つです。
画像から類似度を計算して比較することで、画像が似ているかどうかを判定するというものです。

Average Hashの計算は以下の手順になっています。

Average Hashで類似画像検出の実装

Average Hashで類似画像検索がどの程度できるのか検証してみました。

事例としては、メルカリの洋服系画像を5000枚ほどスクレイピングで収集し、その画像を素材にしました。

具体的には、「レディースのトップス」というカテゴリの洋服画像（下図）を使いました。

プログラムの解説

まず、必要なライブラリを読み込みます。

from PIL import Image
import numpy as np
import glob
import os
import matplotlib.pyplot as plt

続いて初期値を設定します。

size = 64  #圧縮サイズの指定
target_file = r"C:\Users\user\scrp\data\sample.jpg" #類似検索対象の画像
search_dir = r"C:\Users\user\scrp\data\img"   #検索対象の画像（約5000枚）が格納されているフォルダを指定

次に、メインとなるAverage Hashの関数と、Average Hashの計算結果の値の差異を比較するためにハミング距離というものを計算します。

ハミング距離は、2つのAverage Hash（ベクトル値）の差分情報だけを合計した値として計算します。

# 画像データをAverage hashに変換
def average_hash(target_file, size):
    img = Image.open(target_file)   # Image.Openで画像ファイルをオープン
    img = img.convert('L').resize((size, size), Image.ANTIALIAS) # グレースケール変換＆アンチエイリアス処理で圧縮
    px = np.array(img.getdata()).reshape((size, size))  # 画素データを取得してリサイズ
    avg = px.mean()  # 画素値の平均値を取得
    px = 1 * (px ＞ avg)   # 画素データ（px）で平均より大きい要素を1に、それ以外は0に変換
    return px

# 2つのAverageHash値間のハミング距離を求める 
def hamming_dist(a, b):    
    a = a.reshape(1, -1)  # 1次元に変換
    b = b.reshape(1, -1)  # 1次元に変換
    dist = (a != b).sum()  # 要素が異なる部分の合計値を計算
    return dist

では、まず、検索したい画像のAverage Hash値を求めてみます。

target_dist = average_hash(target_file, size)

実行結果としてAverage Hash値（target_dist)として形状（64,64)のデータが生成されます。

続いて、検索対象となる約5000ファイルの情報を読み込みます。

images = glob.glob(os.path.join(search_dir, "*.jpg"))

今回は4647個の画像ファイルを用意しました。

では、この4647個のファイルをすべて読み込みAverage Hash値を計算し、検索したい画像のAverage Hash値（target_dist)に対するハミング距離を一気に求めます。

※rateの値はハミング距離に対して類似画像と判定する閾値です。

rate =2.0
result = []
for i, fname in enumerate(images):
    dist = average_hash(fname, size)
    diff = hamming_dist(target_dist, dist) / 256
    if diff ＜ rate:
        result.append([diff,fname])

上記プログラムを実行すると、ハミング距離がrate以下である画像の情報がresult変数に格納されます。

※resultの第1要素がハミング距離、第2要素が対象画像のファイルパス

Out[605]:
[[1.6875, 'C:\\Users\\sinfo\\scrp\\data\\img\\13_32.jpg'],
 [1.875, 'C:\\Users\\sinfo\\scrp\\data\\img\\14_78.jpg'],
 [1.875, 'C:\\Users\\sinfo\\scrp\\data\\img\\15_4.jpg'],
 [1.8203125, 'C:\\Users\\sinfo\\scrp\\data\\img\\16_62.jpg'],
 [1.79296875, 'C:\\Users\\sinfo\\scrp\\data\\img\\18_60.jpg'],
 [0.0, 'C:\\Users\\sinfo\\scrp\\data\\img\\1_29.jpg'],
 [1.54296875, 'C:\\Users\\sinfo\\scrp\\data\\img\\1_8.jpg'],
 [1.953125, 'C:\\Users\\sinfo\\scrp\\data\\img\\20_10.jpg'],
 [1.88671875, 'C:\\Users\\sinfo\\scrp\\data\\img\\21_65.jpg'],
 [1.83203125, 'C:\\Users\\sinfo\\scrp\\data\\img\\21_66.jpg'],
 [1.91015625, 'C:\\Users\\sinfo\\scrp\\data\\img\\22_67.jpg'],
 [1.8359375, 'C:\\Users\\sinfo\\scrp\\data\\img\\27_52.jpg'],
 [1.6953125, 'C:\\Users\\sinfo\\scrp\\data\\img\\28_69.jpg'],
 [1.6953125, 'C:\\Users\\sinfo\\scrp\\data\\img\\29_0.jpg'],
 [1.96875, 'C:\\Users\\sinfo\\scrp\\data\\img\\2_20.jpg'],
 [1.6796875, 'C:\\Users\\sinfo\\scrp\\data\\img\\32_51.jpg'],
 [1.8046875, 'C:\\Users\\sinfo\\scrp\\data\\img\\35_39.jpg'],
 [1.90234375, 'C:\\Users\\sinfo\\scrp\\data\\img\\35_43.jpg'],
 [1.765625, 'C:\\Users\\sinfo\\scrp\\data\\img\\37_45.jpg'],
 [1.234375, 'C:\\Users\\sinfo\\scrp\\data\\img\\42_20.jpg'],
 [1.90625, 'C:\\Users\\sinfo\\scrp\\data\\img\\45_39.jpg'],
 [1.8046875, 'C:\\Users\\sinfo\\scrp\\data\\img\\49_0.jpg'],
 [1.86328125, 'C:\\Users\\sinfo\\scrp\\data\\img\\49_3.jpg'],
 [1.30078125, 'C:\\Users\\sinfo\\scrp\\data\\img\\4_40.jpg'],
 [1.9296875, 'C:\\Users\\sinfo\\scrp\\data\\img\\52_57.jpg'],
 [1.2421875, 'C:\\Users\\sinfo\\scrp\\data\\img\\54_21.jpg'],
 [1.484375, 'C:\\Users\\sinfo\\scrp\\data\\img\\56_9.jpg'],
 [1.89453125, 'C:\\Users\\sinfo\\scrp\\data\\img\\57_11.jpg'],
 [1.51953125, 'C:\\Users\\sinfo\\scrp\\data\\img\\7_11.jpg']]

これをmatplotlibで描画してみます。

import cv2
import matplotlib.pyplot as plt
%matplotlib inline

img = Image.open(target_file)
plt.imshow(img)
plt.tick_params(labelbottom="off",bottom="off") # x軸の削除
plt.tick_params(labelleft="off",left="off") # y軸の削除

plt.figure(figsize=(128,128))
plt.subplots_adjust(wspace=0.5,hspace=0.5)

for i, item in enumerate(result):
    plt.subplot(8, 8, i+1)
    img = cv2.imread(item[1], cv2.COLOR_BGR2RGB)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)  #BGR -> RGB順に
    plt.tick_params(labelbottom="off",bottom="off") # x軸の削除
    plt.tick_params(labelleft="off",left="off") # y軸の削除
    plt.imshow(img)

結果は以下のようになりました。

一番上の大きい画像が検索ターゲットの画像で、下の小さい画像が類似として判定された画像です。

どうも、単純なAverage Hash値の計算ではうまく類似画像を判定できないようです。
※圧縮サイズをもっと増やしてみましたが改善は見られませんでした。

そもそも、Average Hash値の計算が画像データをグレースケール化している時点でRGBの色情報が欠落してしまうので精度が出ないのは当然か・・・

# 画像データをAverage hashに変換
def average_hash(target_file, size):
    img = Image.open(target_file)
    img = img.resize((size, size), Image.ANTIALIAS)  # 変換モードをRGBへ。
    px = np.array(img.getdata()).reshape((size, size, 3))  #リサイズの形状を3次元に変換
    avg = px.mean()
    px = 1 * (px ＞ avg)
    return px

img = img.resize((size, size), Image.ANTIALIAS)  # 変換モードをRGBへ。

px = np.array(img.getdata()).reshape((size, size, 3))  #リサイズの形状を3次元に変換

全く違う洋服もありますが、全体的にはピンク系統の似たような形状の画像が抽出されました。
5000枚近くの画像からこれだけ絞り込めればそれなり使えそうな気はします。

まとめ

以上、Average Hash値を使った類似画像判定に関する記事でした。

Django入門おすすめノート

note（ノート）

 

1 Pocket

Django WEBアプリ開発コース｜siny｜note

https://note.mu/shinya_hd/m/m7c72d8925919

以下のコースをまとめた割引プランです。 ・Djangoで毎月の出費を分析できる家計簿アプリをつくろう！【基礎編】 ￥980・Djangoで毎月の出費を分析できる家計簿アプリをつくろう！【応用編】 ￥500￥1,500相当のチュートリアルを、セット割で￥1,000で販売します。Djangoの環境構築からCRUD WEBアプリ開発+α Djangoの応用事例を学習したい人にお勧めです。ボリュームは約13万字ありますので、200～300ページ程度の技術書と同等のボリュームがあると思います。初心者用に図解を多く（約90枚）取り入れて、説明も多く掲載しています。