講題
Transformer淺介
摘要
Transformer 被廣泛的運用在當今最新的 NLP 當中，包含耳熟能詳的 BERT、GPT2 模型。這個分享將會介紹基本的 Transformer，以及後續的一些變體，以深入淺出的方式研究 Transformer 的發展的脈絡。
講者
鄭景文，交通大學電機系學生，Julia 開發者，為 Transformers.jl 套件作者及維護者，在 Julia 社群小有名氣，希望成為 NLP 研究人員
活動地點
透過 google Meet 進行線上分享與討論，
會議室網址: https://meet.google.com/ywa-xjbk-heu
導讀經典論文集傳送門:
2. Improving Language Understanding by Generative Pre-Training
3. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
4. Language Models are Unsupervised Multitask Learners
5. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
6. XLNet: Generalized Autoregressive Pretraining for Language Understanding
8. ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS
9. On Layer Normalization in the Transformer Architecture
10. PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
特別說明
1.預計13:50開會議室，預計14:10正式開始。
2.請大家準時進入，進來會議室前先確認是否關上麥克風，想問問題發言，可隨時打開麥克風，
3.講者歡迎大家隨時提問唷~
關於AI Tech 社群
凝聚台中與中部地區對於人工智慧技術有興趣的人，提供交流與學習的園地，提供一個AI技術的線上討論平台，並同時不定期於台中中興大學與夢森林舉辦實體導讀AI有關的論文與技術，歡迎大家一起聽論文，交朋友。
