Généralités
| LYSET16 | Ce cours nouveau ouvre en septembre 2026. Il peut apparaître dans certains documents ou sur moodle avec le nom « LYSET16-Approfondissement en TAL » |
| CM | mercredi, 14h-16h, à partir du 23 septembre, salle C405, Campus Nation |
| Enseignants | Pascal Amsili & Mathieu Dehouck |
| Lien iCampus | https://icampus.univ-paris3.fr/user/index.php?id=82367 |
| Contenu | Présentation des concepts de base des modèles de langue (et en particulier des modèles neuronaux), et manipulations de modèles en TP. |
Contrôles
| Modalités |
1e session: À la fin de chaque séance de TP, un groupe (ou un(e) étudiant(e) est tiré au sort pour
présenter à l'enseignant son TP, expliquer ses choix, présenter ses résultats, discuter les limites. Cet échange
donne lieu à une note qui compte pour 60%. Un devoir sur table en temps limité pendant la dernière séance donne
lieu à une note comptant pour 40%. CTI: Une épreuve en temps limité au cours de la dernière séance compte pour 100%. 2e session (rattrapage): une épreuve écrite en temps limité (100%). |
| Calendrier |
30/9, 14/10, 4/11, 25/11 & 9/12: entretien de fin de TP (selon tirage au sort).
16/12: Examen (2h). |
Séances (organisation indicative à confirmer)
| sem. | date | description | liens | |
|---|---|---|---|---|
| 1 | 2026-09-23 | CM, pA | Ch1. Modèles de langue (principe) | |
| 2 | 2026-09-30 | TD, pA | Génération auto-regressive (avec n-grammes) | |
| 3 | 2026-10-07 | CM, MD | Ch2. Tokenisation | |
| 4 | 2026-10-14 | TD, MD | Comparaison de méthodes de tokenisation | |
| 5 | 2026-10-21 | CM, pA | Ch3. Lecture: (Vaswani et al., 2017) | |
| - | 2026-10-28 | Pas de séance (congés) | ||
| 6 | 2026-11-04 | TD, MD | Visualisation des couches de BERT | |
| 7 | 2026-11-11 | Pas de séance (férié) | ||
| 8 | 2026-11-18 | CM, pA | Ch4. Post-entraînement des LLMs | |
| 9 | 2026-11-25 | TD, pA | ||
| 10 | 2026-12-02 | CM, MD | Ch5. Recherche d'information et RAG | |
| 11 | 2026-12-09 | TD, MD | ||
| 12 | 2026-12-16 | Exm, pA | Examen | |
Pointeurs (références, bibliographie, ressources en ligne)
- Daniel Jurafsky and James H. Martin. 2026. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models, 3rd edition. Online manuscript released August 19, 2026. https://web.stanford.edu/~jurafsky/slp3.
Chapitres les plus pertinents :- 2 (Words and Tokens)
- 3 (N-gram Language Models)
- 5 (Embeddings)
- 6 (Neural Networks)
- 7 (Transformers and Pretraining) → Ch3
- 8 (Post-training) → Ch4
- 11 (Information Retrieval and RAG) → Ch5
- Ashish Vaswani et al., 2017. Attention is All You Need. Proceedings of the NIPS 2017 Conference. Last version available on arXiv: http://arxiv.org/abs/1706.03762.
