Transformerニューラルネット 産業現場応用の研究動向

近年注目を浴びている生成AIであるGPTの基盤技術は革新的なニューラルネットである”Transformer”です。その自然な会話のカギは単語の時系列予測するTransformerを使った内部計算アルゴリズムにあります。 　本セミナーでは、まずAI機械学習の入り口である「ニューラルネットとは?」から初めて、その時系列データや単語系列へ適用を学びます。そのうえで、大規模言語モデルの内部コアであるTransformerニューラルネットのベクトル行列計算の基礎を説明します。そして、Transformerの言語応用にとどまらず画像や予測や制御といった産業現場応用への適用を目指す最先端研究の実例紹介し将来を展望します。

1. はじめに
   1. AI機械学習の位置づけ
      • 教師有/無し学習
      • ニューラルネット
      • 強化学習
   2. 産業応用への適用現状
      • 事例
        • 欠陥画像と検査
        • 切削音と工具寿命 他
2. ニューラルネットの基礎
   1. MLP型ディープラーニング
      • ベクトル行列計算
      • 活性化関数とは
      • 事例: 設備電力制御に適用・性能評価
   2. 系列型LSTM
      • 再帰型系列ニューラルネットの基礎原理
      • 事例:突発事象予測に適用・性能評価
3. 言語機械学習の基礎
   1. 単語符号化
      • 埋込みベクトル化
      • 単語意味の演算
      • 文脈意味分布
   2. 生成AIの登場
      • 大規模言語モデル
        • GPT
        • BERT
4. 生成AIのTransformerニューラルネット
   1. 生成AIの技術基盤Transformer
      • Transformerの内部アーキテクチャ概要
   2. 豊富な情報を与える単語位置ベクトル
   3. 単語間の関係性を抽出するQKV Attention機構
   4. Transformer応用:自然言語から産業現場へ
      • 自然言語応用のみならす系列データ処理の素質
5. Transformer産業応用の研究事例
   1. 画像処理
      • 画像Patch系列による注意個所抽出
      • 路面凍結 など
   2. 系列予測
      • 時系列変化点抽出の説明
      • 気温変化
      • 株価変化
      • ネジ緩みなど
   3. 構造予測
      • AlfaFold2によるタンパク質構造生成予測
   4. ロボット
      • RT-2による汎用言語指示ロボット
6. 産業への可能性と課題
   1. Transformerと産業現場の相性
      • 産業現場データ収集困難さ
      • 内部計算説明性
   2. 展望
7. まとめと質疑応答