« Remplacer les Transformers » est une formulation spectaculaire, mais techniquement trop étroite. Remplacer un monolithe neuronal par une nouvelle architecture monolithique conserve la présomption centrale : toute la capacité doit vivre dans une seule matière computationnelle.
La thèse d’AI Mission Foundry est différente :
AMF ne remplace pas le Transformer. AMF retire l’obligation d’implémenter toute intelligence sous la forme d’un Transformer.
Le Transformer reste un candidat. Il peut gagner. Il peut aussi devenir un parent scientifique, un teacher, un générateur de contre-exemples ou un substrat temporaire qui disparaît du runtime final.
Partir de la capacité, pas de l’architecture
Une mission peut être décomposée en obligations fonctionnelles : extraire, rechercher, comparer, calculer, vérifier, router, refuser ou exécuter. Cette décomposition n’affirme pas que l’intelligence est naturellement modulaire. Elle propose des contrats bornés qui peuvent être testés.
Pour chaque obligation, plusieurs matérialisations sont possibles :
- Transformer généraliste ;
- petit modèle expert ;
- réseau récurrent ou SSM ;
- moteur de recherche ;
- graphe de connaissances ;
- algorithme déterministe ;
- règles métier ;
- solveur formel ;
- outil externe ;
- composition de plusieurs composants.
La mission et les preuves doivent départager ces options.
Utiliser l’ablation comme instrument scientifique
Une intervention contrôlée peut mesurer la sensibilité d’une capacité à une structure donnée. AMF organise ces opérations autour de primitives générales :
- ZERO : mettre une sortie ou une activation à zéro ;
- MASK : masquer une tête, un neurone ou un bloc ;
- BYPASS : court-circuiter temporairement une couche ;
- REPLACE : substituer une activation ou un composant ;
- SCALE : faire varier progressivement une contribution ;
- NOISE : mesurer la robustesse d’un chemin ;
- TRUNCATE : réduire rang ou dimension ;
- DEGRADE : modifier précision ou support numérique ;
- SWAP : tester une implémentation alternative ;
- FREEZE : limiter l’endroit où l’apprentissage peut agir.
Une chute de performance après ablation ne prouve pas qu’une capacité « se trouve » dans le composant ciblé. Elle établit seulement que, sous les conditions testées, l’intervention a matériellement affecté la capacité mesurée.
De l’intervention à la rematérialisation
L’objectif n’est pas seulement de cartographier un réseau. Une contribution observée peut conduire à une hypothèse de remplacement.
Exemple conceptuel :
- un grand modèle produit une réponse structurée ;
- les expériences montrent qu’une partie de son calcul sert surtout à retrouver des faits ;
- cette fonction est représentée par un contrat borné ;
- un composant de retrieval contrôlé est testé comme matérialisation alternative ;
- la composition complète est remesurée ;
- la nouvelle réalisation n’est retenue que si elle satisfait les gates de la mission.
Le grand modèle peut alors rester présent, être réduit ou disparaître du runtime. Ce n’est pas un objectif idéologique : c’est un résultat expérimental.
L’équivalence fonctionnelle n’est pas globale
Deux composants peuvent se comporter de manière équivalente sur un contrat borné sans être globalement équivalents. De plus, des substitutions valides séparément peuvent interagir une fois composées.
Il faut donc distinguer :
- la preuve au niveau du composant ;
- la preuve de composition ;
- la qualification du système complet.
La règle est importante : l’équivalence fonctionnelle n’est pas automatiquement compositionnelle.
Trois niveaux de trajectoire
Runtime sans Transformer
Un Transformer peut servir pendant la fabrication mais être absent de la réalisation déployée. C’est l’objectif le plus directement testable, mission par mission.
Fabrication sans Transformer
Les composants sont fabriqués depuis des données, connaissances, règles et lignées antérieures sans teacher Transformer obligatoire. Cette direction reste un objectif de recherche avancé.
Bootstrapping sans Transformer
La mission conduit à la synthèse, l’entraînement, la composition et la qualification d’une architecture sans Transformer à aucun stade. Cette hypothèse est aujourd’hui spéculative.
AMF doit pouvoir conclure que les alternatives échouent et qu’un Transformer important reste nécessaire. Ce résultat négatif est scientifiquement utile.
Pour approfondir cette trajectoire, voir le programme de recherche AMF et l’architecture de la Foundry.