【速習！】Attentionから始めるTransformer超入門

この動画ではAttentionの起源からTransformerの入門レベルの内容までをスライドで説明したものです。

※要点を絞った解説動画も出しています！
https://youtu.be/zSqBUeh6EBI

slideshareにてスライドを公開しています↓
https://www.slideshare.net/AGIRobots/attentiontransformer

【目次】
00:00 OP
02:03 目次
03:20 認知科学と注意（Attention）
09:11 深層学習と注意（Attention）
13:02 RNNの基礎
17:34 Seq2Seq
23:13 Seq2Seq + Attention機構
27:26 CNNの基礎
36:15 SENetとAttention機構
38:41 ここまでの話のまとめ
39:46 Attention機構の種類
41:56 Self-Attention GAN
43:24 Transformerのアーキテクチャ
47:12 Embedding層
50:15 Positional Encoding
54:51 Multi-Head Attention
57:41 Scaled Dot-Product Attention
1:01:50 Position-wise Feed-Forward
1:03:34 Transformerのアーキテクチャまとめ
1:05:19 Transformer block 基本ユニット

本スライドの作成に際して勉強で利用したおすすめの書籍について紹介します。
・イラストで学ぶ 認知科学 (KS情報科学専門書)
https://amzn.to/3xTetnA
・scikit-learn、Keras、TensorFlowによる実践機械学習 第2版
https://amzn.to/3nfcHb6
・深層学習 改訂第2版 (機械学習プロフェッショナルシリーズ)
https://amzn.to/3OACgPO

ブログ、Twitter、Instagramでも、情報を発信しています。
チャンネルの登録や、フォローお願いします！
blog:https://agirobots.com/
twitter:https://twitter.com/AGIRobots/
instagram:https://www.instagram.com/agirobots/