Vision Transformerの仕組みとBEV Perception

自己注意機構を活用したニューラルネットワークであるTransformerは、機械翻訳タスクでSoTAを達成し実用化を加速させている。このTransformerをコンピュータビジョンタスクに適用したモデルがVision Transformerであり、2019年以降、急速に応用と改良が加えられている。Vision Transformerは、CNNとは異なる新たな特徴表現獲得が可能となり、テクスチャノイズに対してロバストな認識が可能となっている。 　本セミナーでは、Vision Transformerについて従来の手法と対比しながらその仕組みと特長について解説し、コンピュータビジョン応用として物体検出、セマンティックセグメンテーション、自己教師あり学習について紹介する。また、BEV PerceptionによるEnd-to-end自動運転技術の最前線についても紹介する。

1. Transformerの仕組み
   1. Transformer
   2. 大規模言語モデル
2. Vision Transformerの仕組み
   1. 特徴表現獲得の変遷
   2. VIsion Transformer (ViT)
   3. ViTによる画像認識
   4. ViTによる特徴表現獲得
   5. ViTベースの物体検出、セマンティックセグメンテーション
   6. ViTの自己教師あり学習
   7. ViTの派生手法
      • Swin Transformer
      • ConvNeXtなど
3. Vision and Languge Model (VLM) による知識獲得向
   1. VLMとは
   2. CLIPとオープンボキャブラリ認識
   3. LLaVA
   4. Vision-Language-Actionモデル (VLA)
4. TransformerによるBEV Perception
   1. Bird’s-Eye-View (BEV) 空間
   2. BEVベースの3D物体検出
      • BEVFormer
   3. BEVベースのE2E自動運転
      • UniAD
      • Para-Drive
      • EMMA
5. TransformerによるBEV Perception
   1. Bird’s-Eye-View (BEV) 空間
   2. BEVベースの3D物体検出
      • BEVFormer
      • BeVerse
   3. BEVベースの自動運転:UniAD