#53 – BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

NN の自然言語処理で transfer learning を実現した BERT について向井が話します。感想などはハッシュタグ #misreading か hello@misreading.chat にお寄せください。

• [1810.04805] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• Improving Language Understanding by Generative Pre-Training
• GitHub – openai/gpt-2: Code for the paper “Language Models are Unsupervised Multitask Learners”
• [1901.11504] Multi-Task Deep Neural Networks for Natural Language Understanding
  • Microsoft’s New MT-DNN Outperforms Google BERT – SyncedReview – Medium
• BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました – 原理的には可能 – データ分析界隈の人のブログ、もとい雑記帳

Follow up

• Jay Alammar جهاد العمار | LinkedIn
• STV