Distillation LLM : transférer une capacité sans supposer l’équivalence
Utiliser la distillation pour transférer une capacité bornée vers un modèle plus petit, puis tester robustesse et pertes résiduelles.
La distillation transfère des comportements observés ; elle ne garantit pas une équivalence globale avec le teacher.
Les scores moyens peuvent masquer la disparition de cas rares, de refus corrects ou de robustesse hors distribution.
Le child n’est retenu que pour le contrat de capacité effectivement préservé sous évaluation protégée.
Ce que l’architecture doit rendre explicite
Le coût se réduit au niveau de la réalisation : éviter des appels, raccourcir le contexte, quantifier, router ou rematérialiser une responsabilité peut compter davantage que l’optimisation isolée du modèle.
Passer d’un mot-clé à une décision d’ingénierie inspectable
Profiler
Mesurer les coûts réels du système, y compris retries, transferts, mémoire et vérification.
Attribuer
Déterminer quelles responsabilités exigent encore un modèle puissant.
Transformer
Tester réduction, quantification, spécialisation, cache, routage ou substitution.
Comparer
Conserver le même contrat de capacité et publier les conditions matérielles exactes.
Une affirmation ne vaut que par son binding
Le gate doit évaluer la sortie réellement produite par la réalisation exacte. Intégrité, validité scientifique et autorité sont liées, mais jamais interchangeables.
Les questions qui changent la conception
Que demande concrètement distillation llm : transférer une capacité sans supposer l’équivalence ?
La distillation transfère des comportements observés ; elle ne garantit pas une équivalence globale avec le teacher. Le coût se réduit au niveau de la réalisation : éviter des appels, raccourcir le contexte, quantifier, router ou rematérialiser une responsabilité peut compter davantage que l’optimisation isolée du modèle.
Quelles preuves faut-il conserver ?
Au minimum : identité exacte de la réalisation, entrées et sorties, version du protocole, mesures, cas d’échec et règle de décision. Le child n’est retenu que pour le contrat de capacité effectivement préservé sous évaluation protégée.
AMF impose-t-il un modèle particulier ?
Non. AMF traite modèle, runtime, données, outils et composants déterministes comme des matériaux candidats. Leur conservation dépend de leur contribution mesurée et des contraintes déclarées.