Skip to content

Latest commit

 

History

History
7 lines (7 loc) · 338 Bytes

File metadata and controls

7 lines (7 loc) · 338 Bytes

篇章小测

  • 问题1: BERT训练时候的学习率learning rate如何设置?
  • 问题2: BERT模型使用哪种分词方式?
  • 问题3: 如何理解BERT模型输入的type ids?
  • 问题4: Hugginface代码中的BasicTokenizer作用是?
  • 问题5: WordPiece分词的好处是什么?
  • 问题6: BERT中的warmup作用是什么?