last update: 2004年11月27日

xtnfold.sh

概要：交差検定(cross validation)用のデータセットを作成する

書式：xtnfold.sh -i ファイル -d 出力ディレクトリ -n fold数 -c クラス項目 [-o トレーニングファイル名] [-O テストファイル名] [-S 乱数の種] [-t] [-V]

-V : スクリプト内部のコマンド完了メッセージを表示させる。
-h : ヘルプの表示

解説：分類モデルの精度を評価する方法の一つに、交差検定法がある。このモジュールを利用することにより、交差検定用のデータセットを作成することができる。-nで入力データをいくつのブロックに分割するかを指定する（一般には10）。-cで指定した項目(結果属性項目)で層化（stratification）される。作成されるデータは、-o,-Oを指定しなければ"##-train.xt","##-test.xt"というファイルが作成される。"##"にはfold番号が入る(10 fold cross validationの場合は1〜10の番号が入る)。

交差検定について

あるデータセットを利用して分類モデルを構築する場合、構築されたモデルの未知データに対する精度を求める代表的な方法として、テストサンプル法と交差検定法、ブートストラップ法などがある。テストサンプル法においては、データセットをトレーニングデータとテストデータに分割し、トレーニングデータを利用してモデルを構築し、テストデータを利用してそのモデルの未知データに対する予測精度の推定値とする。データ量が十分にある場合は、テストサンプル法は簡単で有効な手段であるが、データ量が少ない場合は、たまたま簡単な（もしくは難しい）テストデータが選ばれてしまうケースが顕著になり、正確な推定とならなくなる。そこで元のデータセットをｎ個（一般的には１０）のブロックに分割し、それぞれのブロックをテストデータとし、残りをトレーニングデータとなるようにデータセットを作成する。このような方法を取ることにより、元のデータ全てがテストされることになる。交差検定は、あくまでも未知データに対するモデルの精度の推定法であり、交差検定データで作成される複数のモデルをルールとして利用することはない。実際に利用するモデルは、元のデータセットで作成したモデルであり、そのモデルの未知データに対する精度を交差検定法で推定するということである。

利用例）

以下では簡略化のためn=3のケース(通常はn=10)についての例を示す。

xtnfold.sh -c 結果属性 -n 3 -d ./datSet -o fold##-train.xt -O fold##-test.xt

以下のように３つのブロックにランダムに分割される。その時、-cで指定した「結果属性」項目の値によって層化される。すなわち、各ブロックとも、０と１が元の割合("0":"1"=6:3)と同等に出現するように選択される。

そして、最終的に以下のような６つのデータが-dで指定した./datSetディレクトリの下に作成される。