Vision Transformerの仕組み

自己注意機構を活用したニューラルネットワークであるTransformerは、機械翻訳タスクでSoTAを達成し実用化を加速させている。このTransformerをコンピュータビジョンタスクに適用したモデルがVision Transformerであり、2019年以降、急速に応用と改良が加えられている。Vision Transformerは、CNNとは異なる新たな特徴表現獲得が可能となり、テクスチャノイズに対してロバストな認識が可能となっている。 　本講座ではVision Transformerについて従来の手法と対比しながらその仕組みを解説し、コンピュータビジョン応用を中心とした最前線についても紹介する。

1. 再帰型ニューラルネットワークの仕組み
   1. 再帰型ニューラルネットワーク (RNN)
   2. LSTM
   3. Seq2seq
2. Vision Transformerの仕組み
   1. Transformer
   2. VIsion Transformer (ViT)
   3. ViTによる画像認識
   4. ViTによる特徴表現獲得
3. ViTの最新動向
   1. ViTの派生手法
      • Swin Transformer
      • ConvNeXtなど
   2. ViTの派生手法の傾向