pytorchテキスト前処理(torchtext)【入門者向け】

こんにちは。sinyです。

この記事ではPytorchで自薦言語処理を行う場合にとても便利なtorchtextの使い方について学習を兼ねて情報をまとめています。

継続してアップデートしていきます。

torchtextとは？

torchtextとはPytorchでテキストデータを扱うためのパッケージです。

torchtextと使うとテキストデータの前処理として行う単語、インデックス辞書の作成や単語語録等を少ないコーディングで非常に簡単に行うことができるので大変便利です。

テキストデータの読み込み

torchtextを使ってテキストデータを読み込む方法を簡単にまとめました。

torchtext.data.Field()の引数には以下のパラメータがあります。

sample_train.tsvに以下のようなタブ区切りのテキスト情報が格納されているデータを読み込む手順を示します。

ディープラーニングの基礎について学ぶ。 0
異常検知の手法としてオートエンコーダがよく利用されます。 1
自然言語処理にtorchtextを利用すると便利です。 2
画像認識の手法の１つとしてGANがあります。 3

tsvを読み込む場合の例

※今回はsample_train.tsvとsample_val.tsvは同じ情報が格納されているものとします。

#文章読み込みテスト
import torchtext

TEXT = torchtext.data.Field()
LABEL = torchtext.data.Field()

train_ds, test_ds = torchtext.data.TabularDataset.splits(
    path='./data/', train='sample_train.tsv',
    validation='sample_val.tsv', format='tsv',
    fields=[('Text', TEXT), ('Label', LABEL)])

一番簡素な例として、以下のようにtorchtext.data.Field()を使って読み込むデータのカラムを定義します。

TEXT = torchtext.data.Field()
LABEL = torchtext.data.Field()

※各種オプションを指定して前処理を追加したい場合はFIled()内にオプションを指定するだけです。

今回は、文章の部分「ディープラーニングの基礎について学ぶ。」をTEXT、タブ区切りの2つ目の番号部分「0」をLABELとして定義しています。

次にtorchtext.data.TabularDataset.splitsを利用して、学習用と訓練用データセットを生成しています。

torchtext.data.TabularDataset.splitsにもいくつか指定できるパラメータがあります。

今回は、学習データと検証データの2つだけ指定しています。

また、読み込むデータはテキスト部分とラベル情報（数字）の2つのフィールドを持っているため、fieldsオプションで以下のように設定します。

fields=[('Text', TEXT), ('Label', LABEL)])

読み込んだデータを表示させてみます。

print('訓練データの数', len(train_ds))
print('1つ目の訓練データ', vars(train_ds[0]))
print(vars(train_ds[0])['Text'])
print(vars(train_ds[0])['Label'])

出力結果

訓練データの数 4
1つ目の訓練データ {'Text': ['ディープラーニングの基礎について学ぶ。'], 'Label': ['0']}　　

['ディープラーニングの基礎について学ぶ。']　　

['0']

※出力結果を表示する場合はvarsメソッドを使い引数の辞書を返してあげます。

csvを読み込む場合の例

別の例としてcsvファイルを読み込む例です。

今度は以下のような3つのフィールドが存在するデータファイルとします。

ディープラーニングの基礎について学ぶ。,0,基礎
異常検知の手法としてオートエンコーダがよく利用されます,1,異常検知
自然言語処理にtorchtextを利用すると便利です。,2,NLP
画像認識の手法の１つとしてGANがあります,3,画像分類

csvを読み込む場合はformat='csvと指定するだけです。

#文章読み込みテスト
import torchtext


TEXT = torchtext.data.Field()
LABEL = torchtext.data.Field()
LABEL2 = torchtext.data.Field()

train_ds, test_ds = torchtext.data.TabularDataset.splits(
    path='./data/', train='sample_train.csv',
    validation='sample_val.csv', format='csv',
    fields=[('Text', TEXT), ('Label', LABEL), ('Label2', LABEL2)])

今度はフィールドが３つあるので、torchtext.data.Field()を使って3つのフィールド（TEXT,LABEL,LABEL2)を定義します。

あとはtorchtext.data.TabularDataset.splitsを使って学習用、検証用データとしてデータセットを生成します。

今回はフィールドが３つあるので以下の通りfiledsオプションで先ほど定義した３つのフィールドを指定します。

fields=[('Text', TEXT), ('Label', LABEL), ('Label2', LABEL2)])

出力結果を確認してみます。

print('訓練データの数', len(train_ds))
print('1つ目の訓練データ', vars(train_ds[0]))
print(vars(train_ds[0])['Text'])
print(vars(train_ds[0])['Label'])
print(vars(train_ds[0])['Label2'])

出力結果

訓練データの数 4

1つ目の訓練データ {'Text': ['ディープラーニングの基礎について学ぶ。'], 'Label': ['0'], 'Label2': ['基礎']}

['ディープラーニングの基礎について学ぶ。']　　

UnicodeDecodeError: 'utf8' codec can't decode byte

torchtextにはほかにも便利機能がありますので、本記事は、継続して更新していきます。

torchtext.build_vocab

テキストデータを元に単語辞書データを生成するメソッドが用意されています。

torchtext.vocab

torchtext.vocabには以下の3つの機能があります。