Le protocole Newton ne cesse de revenir dans mes pensées, non pas parce que je pense qu’il a toutes les réponses, mais parce qu’il me force à remettre en question quelque chose qui devient de plus en plus mal à l’aise. Nous supposons souvent que, si un système d’IA fonctionne dans un environnement sécurisé et vérifiable, la confiance suit naturellement. Je ne suis pas sûr que ce soit aussi simple. La confiance se construit rarement grâce à la technologie seule. Elle est façonnée par des habitudes, des attentes et la volonté des personnes de continuer à poser des questions difficiles même lorsque tout semble fonctionner.
Je soupçonne que le véritable défi pour @NewtonProtocol n’est pas de savoir si des stratégies pilotées par l’IA peuvent s’exécuter de manière sûre, mais plutôt si les personnes qui s’y fient restent suffisamment engagées pour comprendre ce qu’elles acceptent de leur confier. Au début, les participants ont tendance à examiner les décisions avec soin, parce que tout est nouveau. Avec le temps, la familiarité remplace la curiosité. La réussite peut engendrer une confiance silencieuse qui, progressivement, décourage le contrôle. Peut-être que le système fonctionne jusqu’au moment où les gens deviennent plus à l’aise avec les résultats qu’avec la compréhension de la façon dont ces résultats ont été produits.
Ce qui me trouble, c’est la manière dont la gouvernance pourrait évoluer à mesure que le protocole mûrit. Personne n’a besoin de centraliser intentionnellement le contrôle pour que l’influence se concentre. Il semble possible que les personnes disposant de la connaissance technique la plus approfondie deviennent peu à peu celles dont tout le monde dépend, tandis que la communauté au sens large accepte leur jugement simplement parce qu’évaluer des décisions complexes devient trop exigeant. Ce basculement peut se produire si graduellement que peu de personnes s’en rendent même compte.
La question la plus importante n’est peut-être pas de savoir si Newton Protocol peut sécuriser une intelligence autonome, mais s’il peut préserver un jugement humain indépendant à mesure que l’automatisation devient ordinaire. Je ne suis pas sûr qu’aucun protocole puisse résoudre complètement cette tension, et peut-être que…
@NewtonProtocol #Newt $NEWT
Je soupçonne que le véritable défi pour @NewtonProtocol n’est pas de savoir si des stratégies pilotées par l’IA peuvent s’exécuter de manière sûre, mais plutôt si les personnes qui s’y fient restent suffisamment engagées pour comprendre ce qu’elles acceptent de leur confier. Au début, les participants ont tendance à examiner les décisions avec soin, parce que tout est nouveau. Avec le temps, la familiarité remplace la curiosité. La réussite peut engendrer une confiance silencieuse qui, progressivement, décourage le contrôle. Peut-être que le système fonctionne jusqu’au moment où les gens deviennent plus à l’aise avec les résultats qu’avec la compréhension de la façon dont ces résultats ont été produits.
Ce qui me trouble, c’est la manière dont la gouvernance pourrait évoluer à mesure que le protocole mûrit. Personne n’a besoin de centraliser intentionnellement le contrôle pour que l’influence se concentre. Il semble possible que les personnes disposant de la connaissance technique la plus approfondie deviennent peu à peu celles dont tout le monde dépend, tandis que la communauté au sens large accepte leur jugement simplement parce qu’évaluer des décisions complexes devient trop exigeant. Ce basculement peut se produire si graduellement que peu de personnes s’en rendent même compte.
La question la plus importante n’est peut-être pas de savoir si Newton Protocol peut sécuriser une intelligence autonome, mais s’il peut préserver un jugement humain indépendant à mesure que l’automatisation devient ordinaire. Je ne suis pas sûr qu’aucun protocole puisse résoudre complètement cette tension, et peut-être que…
@NewtonProtocol #Newt $NEWT