AI Tech 第37次 meetup - Transformer淺介

講題

Transformer淺介

 

摘要

Transformer 被廣泛的運用在當今最新的 NLP 當中,包含耳熟能詳的 BERT、GPT2 模型。這個分享將會介紹基本的 Transformer,以及後續的一些變體,以深入淺出的方式研究 Transformer 的發展的脈絡。

 

講者

鄭景文,交通大學電機系學生,Julia 開發者,為 Transformers.jl 套件作者及維護者,在 Julia 社群小有名氣,希望成為 NLP 研究人員

活動地點

透過 google Meet 進行線上分享與討論,
會議室網址: https://meet.google.com/ywa-xjbk-heu

 

導讀經典論文集傳送門:

1. Attention Is All You Need

2. Improving Language Understanding by Generative Pre-Training

3. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

4. Language Models are Unsupervised Multitask Learners

5. Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

6. XLNet: Generalized Autoregressive Pretraining for Language Understanding

7. Image Transformer

8. ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

9. On Layer Normalization in the Transformer Architecture

10. PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

 

特別說明

1.預計13:50開會議室,預計14:10正式開始。

2.請大家準時進入,進來會議室前先確認是否關上麥克風,想問問題發言,可隨時打開麥克風,

3.講者歡迎大家隨時提問唷~

 

關於AI Tech 社群

凝聚台中與中部地區對於人工智慧技術有興趣的人,提供交流與學習的園地,提供一個AI技術的線上討論平台,並同時不定期於台中中興大學與夢森林舉辦實體導讀AI有關的論文與技術,歡迎大家一起聽論文,交朋友。

AI Tech FB頁面

AI Tech 資訊平台

AI Tech

活動票券

票種 販售時間 售價
一般票

~ 2020/05/16 16:00(+0800) 結束販售
  • 免費
下一步