PUBLIC EVIDENCE / AMF v0.18
Ce qui est annoncé doit pouvoir être vérifié
Cette page montre les résultats d’une version précise d’AMF, testée sur des tâches définies. Elle explique ce qui a réussi et les limites des tests. Elle ne prétend ni universalité, ni certification réglementaire, ni réussite sur des tâches non évaluées.
AMF v0.18CAMPAGNE PUBLIQUE DE RÉFÉRENCE
02étapes de recherche
08expériences évaluées
92événements enregistrés
03étapes de tests réservés
CANONICAL OUTCOME
QUALIFIED_INTELLIGENCE_REALIZATION
| Test | Avant | Après | Score F1 | Gain |
|---|---|---|---|---|
| ROB | 71.88% | 90.63% | 90.63% | +18.75 pts |
| OOD | 50.00% | 85.16% | 85.05% | +35.16 pts |
| Fresh Final | 47.66% | 81.25% | 81.18% | +33.59 pts |
La publication de référence rapporte 128 exemples par jeu de test. ROB vérifie la résistance aux difficultés testées ; OOD teste des situations différentes de celles apprises ; Fresh Final utilise de nouveaux exemples finaux. Ces scores ne valent que pour les tâches évaluées dans cette version.
01 / EVIDENCE SEQUENCE
Les tests finaux doivent être nouveaux pour la version choisie.
Pour éviter de fausser les résultats, AMF choisit d’abord une solution, puis la teste sur des exemples réservés. Ces exemples ne doivent pas servir ensuite à améliorer discrètement cette même version.
01
Tests pendant la recherche↓
02
Choix d’une version fixe↓
03
Tests de robustesse réservés↓
04
Test final avec de nouveaux cas↓
05
Décision de validation↓
06
Version conservée à l’identique
02 / PUBLIC SURFACE
Publier des preuves sans exposer les données confidentielles.
Les résultats, les versions et les fichiers de vérification peuvent être consultés. En revanche, les données de tests réservées et les secrets internes doivent rester protégés.