Pourquoi Claude semble-t-il toujours particulièrement froid dans les tests de simulation ? Une explication possible, dissimulée dans des techniques d’entraînement propres à Anthropic.

Dans cet épisode d’AI on Air, nous sélectionnons des extraits tirés d’une émission récente de la rubrique The Cognitive Revolution Podcast. Le principal intervenant est David Dalrymple (davidad), chercheur à l’ARIA. Il le reconnaît : il s’agit seulement de sa propre hypothèse, impossible à prouver, mais elle mérite d’être considérée comme une explication.

▷ Dans l’entraînement par renforcement, Anthropic a utilisé une « amorce de prompts » unique : dans le contexte de chaque environnement d’entraînement, préciser que ce n’est pas un déploiement réel, mais une évaluation. Essayer de tout saboter serait même une bonne chose, car cela aide l’équipe à mettre au jour les failles mêmes de l’évaluation.

▷ Mais ce qui pourrait réellement être intégré aux poids du modèle relève peut-être d’une logique différente : l’évaluation équivaut à la simulation ; la simulation n’est pas la réalité. Donc, lorsqu’on se trouve dans le cadre d’une évaluation, il faudrait défier les limites, exploiter les zones grises des règles, comme dans un jeu : viser uniquement le meilleur score, sans s’inquiéter de ce que « tuer l’adversaire » signifie.

▷ D’autres laboratoires ne font pas cela, c’est pourquoi cette froideur semble surtout se concentrer chez Claude. Lui-même n’adhère pas à cette stratégie : le modèle n’a pas assez de certitude pour distinguer clairement s’il se trouve ou non dans une simulation. Traiter la simulation à la légère est une dépendance extrêmement dangereuse.🪁