Pythonによるデータサイエンス・AIのためのデータ前処理

本セミナーでは、データサイエンスや人工知能のためのデータ分析において欠かせないデータの前処理技術についてレクチャー、実演をメインに行います。自らGoogle Colaboratory環境上でサンプルコードを動かすことで実践的な前処理技術を習得することが目標です。 　Google Colaboratory上にはじめからインストールされている数値計算、機械学習ライブラリ、深層学習フレームワークは、大変便利で実用的です。しかし、市販の参考書を片手に整理整頓された教科書的なデータを分析するだけでデータサイエンスやAIを理解した気になっていると、実際の業務において、一筋縄ではいかないデータに直面した時、何をどうしてよいのかわからずに思考停止に陥るのではないでしょうか。データサイエンスやAIを一から学びたい人、仕事で使用するためにとにかく手っ取り早く手を動かしながらコツをつかみたい人、ご心配はご無用です。 　このセミナーでは、困ったときに参考になる実用的な前処理用のサンプルコードを豊富に準備しています。また、講師の研究経験から、データ前処理だけでなく有用なデータ収集の困難さやその極意、上手くいかないときのチューニングのノウハウなども伝授したいと思います。

1. はじめに「AI・機械学習における前処理」
2. 準備
   1. Google ColaboratoryによるPython実行環境と便利な使い方
   2. NumPy, pandas による数値データの処理
   3. scikit-learnを用いた簡単な機械学習
   4. matplotlibによる可視化の基本
   5. Tensorflow, Keras を用いた深層学習の基本
3. 基本的な前処理
   1. 標準化と正規化、ビニング
   2. 外れ値や欠損値にどのように対処するか
4. 特徴選択・次元削減と可視化
   1. 機械学習を使わない統計的な方法 … フィルタ法
   2. 機械学習による効果的な方法 … ラッパ法
   3. 機械学習アルゴリズムに組み込んで利用する … 正則化
   4. 線形次元削減と非線形次元削減
5. 高度な前処理
   1. カテゴリカルデータから数値データへの変換
   2. バランスの悪いデータにいかに対処するか
   3. 時系列データ処理の基本
6. テキストデータの前処理
   1. テキスト抽出、分かち書きと形態素解析
   2. 単語分散表現、トピックモデリング
   3. ニューラルネットワークによる文書分類
   4. 最新の言語モデル動向
7. 画像データ、音声・音楽データにおける前処理
   1. 畳み込みニューラルネットワークの基本
   2. データ不足をデータ拡張で補う
   3. ファインチューニングによる画像分類モデルの構築
   4. 音声・音楽データの基本と前処理手法
• 質疑応答