Vision Transformerの仕組み

自己注意機構を活用したニューラルネットワークであるTransformerは、機械翻訳タスクでSoTAを達成し実用化を加速させている。このTransformerをコンピュータビジョンタスクに適用したモデルがVision Transformerであり、2019年以降、急速に応用と改良が加えられている。Vision Transformerは、CNNとは異なる新たな特徴表現獲得が可能となり、テクスチャノイズに対してロバストな認識が可能となっている。 　本セミナーではVision Transformerについて従来の手法と対比しながらその仕組みを解説し、コンピュータビジョン応用を中心とした最前線についても紹介する。

1. 再帰型ニューラルネットワークの仕組み
   1. 再帰型ニューラルネットワーク (RNN)
   2. LSTM
   3. Seq2seq、Attention Seq2seq
2. Transformerの仕組み
   1. Transformer
   2. 大規模言語モデル
3. Vision Transformerの仕組み
   1. 特徴表現獲得の変遷
   2. VIsion Transformer (ViT)
   3. ViTによる画像認識
   4. ViTによる特徴表現獲得
4. ViTの最新動向
   1. ViTの派生手法
      • Swin Transformer
      • ConvNeXtなど
   2. ViTの派生手法の傾向