Ce cours vous donne un aperçu de la façon d'utiliser les modèles basés sur les transformateurs pour le traitement du langage naturel (NLP). Dans ce cours, vous apprendrez à appliquer les modèles basés sur les transformateurs pour la classification de texte, en se concentrant sur le composant de l'encodeur.

Vous découvrirez l'encodage positionnel, l'encastrement des mots et les mécanismes d'attention dans les transformateurs de langage, ainsi que leur rôle dans la capture des informations contextuelles et des dépendances. En outre, vous serez initié à l'attention multi-têtes et obtiendrez des aperçus sur la modélisation du langage basée sur le décodeur avec des transformateurs génératifs pré-entraînés (GPT) pour la traduction du langage, l'entraînement des modèles et leur mise en œuvre dans PyTorch. En outre, vous explorerez les modèles basés sur les encodeurs avec des représentations bidirectionnelles d'encodeurs à partir de transformateurs (BERT) et vous vous entraînerez en utilisant la modélisation du langage masqué (MLM) et la prédiction de la phrase suivante (NSP). Enfin, vous appliquerez les transformateurs pour la traduction en acquérant un aperçu de l'architecture des transformateurs et en effectuant sa mise en œuvre PyTorch. Le cours offre une exposition pratique avec des activités pratiques qui vous permet d'appliquer vos connaissances dans des scénarios du monde réel. Ce cours fait partie d'un programme spécialisé adapté aux personnes intéressées par l'ingénierie de l'IA générative. Ce cours nécessite une connaissance pratique de Python, PyTorch et de l'apprentissage automatique.