Une technique de génération plus intelligente permettrait d’accélérer l’inférence des grands modèles de langage (LLM) de 2 à 3 fois, sans modifier leur architecture ni dégrader la qualité statistique des réponses. Le décodage spéculatif (speculative decoding) repose sur une stratégie de génération plutôt que sur une modification du modèle lui-même. Son principe consiste à associer