Deep Learning12 min de lecture
Construire un Transformer from scratch en PyTorch
Implémentation pas à pas de l'architecture Attention is All You Need originale.
TransformerPyTorchAttentionNLP
28 janvier 2025
Articles approfondis sur le machine learning, l'ingénierie IA et les systèmes ML en production
Implémentation pas à pas de l'architecture Attention is All You Need originale.
Précision mixte, gradient checkpointing, optimisation DataLoader, torch.compile, et 6 autres astuces avec des accélérations mesurées.
Utilisation GPU, diagnostic des goulots d'étranglement, optimisation DataLoader — techniques pratiques pour s'entraîner 2x plus vite.
Je conçois des modèles ML sur mesure, des agents IA, de la vision par ordinateur et de l'automatisation — de l'idée à la production.