Ce repository contient des tutoriels sur comment faire de la reconnaissance d'entités nommées en utilisant Pytorch 1.4 sur Python 3.7.
-
Pour installer PyTorch, les instructions sont sur ce site.
-
TorchText :
pip install torchtext -
spaCy en anglais :
python -m spacy download en -
transformers :
pip install transformers
On utilise les données CONLL2003
-
1 - BiLSTM Dans ce premier notebook, le modèle utilisé est un LSTM bidirectionnel classique pour faire de la reconnaissance d'entités nommées (NER).
Ici, on ajoute au modèle précédent un embedding de caractères en utilisant des convolutions.
- 3 - BiLSTM+CRF
On ajoute au premier modèle (BiLSTM) une couche CRF.
- 4 - Attention
Dans ce notebook, on ajoute au modèle précédent une couche Attention.
- 5 - Transformers
On remplace ici la couche BiLSTM par une couche transformers.
Enfin, on implémente le modèle BERT décrit ici en utilisant Hugging Face.