機械学習における前処理の基礎とそのポイント

前処理とは何らかの解析処理を行う前に行う処理のことです。前処理の効果は大きく、以降に続く解析処理の成否を決めているのが、実は、前処理とも言われています。ただ前処理は言葉的には明確ですが、具体的にどういう処理を行うかははっきりしていません。それは前処理自体の入出力が様々だからです。まず前処理の入力は、通常、最初に得られた形でのデータですが、どこから得られたデータなのかでその形態は様々です。また前処理の出力は、その後に続く解析処理への入力になるのですが、その解析処理が多様なので、結果的に前処理の出力も様々です。 　本セミナーでは上記の点を踏まえ、解析処理としては機械学習の処理とし、扱うデータとしては時系列データ、言語データ及び画像データを対象とします。機械学習に対する前処理とは何か、標準的にはどういった処理があるのかを解説します。

1. 時系列データ
   1. 窓幅の調整
   2. データの正規化
   3. 変数変換
   4. 周期性に関する注意
   5. 外れ値除去
2. 言語データ
   1. コード変換
   2. 構造化文書からplainテキストへ
   3. クリーニング処理
   4. 英語固有の前処理
   5. 単語のベクトル化
   6. 文や文書のベクトル化
3. 画像データ
   1. フォーマット変換
   2. ノイズ除去
   3. 閾値処理
   4. フィルター処理
   5. サイズの変換
   6. Data Augumentation
• 質疑応答