機械学習・時系列データ分析のためのデータ前処理のポイント

前処理とは何らかの解析処理を行う前に行う処理のことです。前処理の効果は大きく、以降に続く解析処理の成否を決めているのが、実は、前処理とも言われています。 　本セミナーでは、解析処理を時系列データ分析、自然言語に対する機械学習及び画像に対する機械学習の3つに限定します。その上で、各処理に対して、通常、前処理として位置づけられている処理を解説します。 　また利用するプログラミング言語は Python です。個々の前処理を行うために有用なパッケージや関数などを紹介します。

1. 時系列データ分析の前処理
   1. 欠損値とその補完
   2. 変数変換
   3. スライド窓
   4. 移動平均とスムージング
   5. 外れ値検出
2. 自然言語の機械学習処理のための前処理
   1. 構造化文書から plain テキストへ
   2. クリーニング処理、単語の正規化、Stemming
   3. 単語分割
   4. 単語の埋め込み表現
   5. BERT の利用
   6. Bag of words と TF – IDF
   7. 文や文書の埋め込み表現
3. 画像の機械学習処理のための前処理
   1. フォーマット変換
   2. ノイズ除去
   3. フィルター処理
   4. 画像サイズの変更
   5. Data Augmentation
• 質疑応答