【深層学習】Attention - 全領域に応用され最高精度を叩き出す注意機構の仕組み【ディープラーニングの世界 vol. 24】#095 #VRアカデミア #DeepLearning
視聴回数 70,825 回
0
0
▼テーマ
Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。
Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。
今の Deep Learning を語る上では外せない要素！ 要チェック！
▼関連プレイリスト
Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP
自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR
▼目次
(後で追加します。暫くお待ちください)
▼参考文献
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
https://arxiv.org/abs/1409.0473
原論文です！ 当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています
▼参考動画
RNN の動画
→ https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8
GRU の動画
→ https://www.youtube.com/watch?v=K8ktkhAEuLM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=10
RNN の3つの使い方（BiGRU のところよくわからなかった人向け）
→ https://www.youtube.com/watch?v=IcCIu5Gx6uA&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=9
Bi-LSTM の動画（ Bi-GRU の仲間）
→ https://www.youtube.com/watch?v=O1PCh_aaprE&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=12
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )
Transformer や BERT で爆発的な利用を獲得した Attention の祖となるネットワーク RNNsearch について解説します。
Attention は自然言語で GPT-3 の化け物的な精度を出したのみならず、画像や生成モデルなど、超広い領域に応用されています。
今の Deep Learning を語る上では外せない要素！ 要チェック！
▼関連プレイリスト
Deep Learning の世界 https://www.youtube.com/playlist?list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP
自然言語処理シリーズ https://www.youtube.com/playlist?list=PLhDAH9aTfnxL4XdCRjUCC0_flR00A6tJR
▼目次
(後で追加します。暫くお待ちください)
▼参考文献
Bahdanau, Dzmitry, Kyunghyun Cho, and Yoshua Bengio. "Neural machine translation by jointly learning to align and translate." arXiv preprint arXiv:1409.0473 (2014).
https://arxiv.org/abs/1409.0473
原論文です！ 当時の歴史も含めて、過度に難解でない感じで書いてあるので、読んでみてもいいかも！
【2019年版】自然言語処理の代表的なモデル・アルゴリズム時系列まとめ - Qiita https://qiita.com/LeftLetter/items/14b8f10b0ee98aa181b7
いろいろこれを参考にして動画を作っています
▼参考動画
RNN の動画
→ https://www.youtube.com/watch?v=NJdrYvYgaPM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=8
GRU の動画
→ https://www.youtube.com/watch?v=K8ktkhAEuLM&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=10
RNN の3つの使い方（BiGRU のところよくわからなかった人向け）
→ https://www.youtube.com/watch?v=IcCIu5Gx6uA&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=9
Bi-LSTM の動画（ Bi-GRU の仲間）
→ https://www.youtube.com/watch?v=O1PCh_aaprE&list=PLhDAH9aTfnxKXf__soUoAEOrbLAOnVHCP&index=12
▼終わりに
ご視聴ありがとうございました！
面白かったら高評価、チャンネル登録お願いします。
動画の質問、感想などは、コメント欄やTwitterにどうぞ！
お仕事、コラボのご依頼は、TwitterのDMからお願い致します。
動画生成：AIcia Solid (Twitter: https://twitter.com/AIcia_Solid/ )
動画編集：AIris Solid (妹) (Twitter: https://twitter.com/AIris_Solid/ )
=======
Logo: TEICAさん ( https://twitter.com/T_E_I_C_A )
Model: http://3d.nicovideo.jp/works/td44519
Model by: W01fa さん ( https://twitter.com/W01fa )
