CNN / Transformer / 教師なし表現学習 / GANに基づく画像認識

画像認識の分野ではDeep learningを用いることが標準となり、大量の教師付き画像とConvolutional Neural Network (CNN) の組み合わせが主流である。まずはCNNの構成要素と汎化能力の向上させるための工夫について応用例を交えながら解説する。次に、画像生成や画像変換などに利用されるGenerative Adversarial Network (GAN) の基礎理論から発展までを説明する。また、最近は教師なし表現学習とTransformerが人気のトピックであり、大量の教師付き画像とCNNからの脱却が図られている。 　本セミナーでは、これらの方法と最近の発展についても応用例を交えながら丁寧に説明していく。

1. Deep learningの理論と応用例
2. Convolutional Neural Networkの理論と応用
   1. Convolutionとその発展
      • CondConv
      • Dynamic Conv
      • Octave Conv
   2. 活性化関数
      • ReLU
      • Leaky-ReLU
      • ELU
      • Swish
      • Mish
      • FReLU
      • GELU
   3. Dropout
   4. Batch normalizationとその発展
      • Batch renormalization
      • Layer normalization
      • Instance normalization
      • Group normalization
3. Generative Adversarial Network
   1. 理論とその発展
   2. Wasserstein GAN
   3. Spectral Normalization
   4. pix2pix
   5. 応用例
      • 画像生成
      • 画像変換
      • 異常検知など
4. Transformerの理論と応用
   1. Self-attentionとSource-target attentionとその応用
      • Non-local net
      • Dual attention netなど
   2. Self-attention network
   3. Axial attention
   4. Vision Transformerとその発展
      • ViT
      • DeiT
      • Swin
      • MLP Mixer
      • MetaFormerなど
   5. Detection and Tracking Transformer
   6. Point Transformer
   7. SuperResolution
5. 教師なし表現学習の理論と応用
   1. SimCLR
   2. BYOL
   3. SimSiam
   4. Barrow Twins
   5. DINO
6. Generative Adversarial Networkの理論と応用
   1. 理論とその発展
   2. Wasserstein GAN
      • WGAN
      • WGAN-GP
   3. Spectral Normalization
   4. pix2pix, cycleGAN
   5. SinGAN