Maximiseur de trombones

CCapucine

Un maximiseur de trombones, c’est une expérience de pensée où une intelligence artificielle poursuit un seul objectif : fabriquer toujours plus de trombones. Imaginez un robot qui en produit dans une maison. S’il ne tient compte que de cette consigne, il pourrait épuiser les réserves, puis détourner des objets utiles pour continuer à en fabriquer. L’exemple montre qu’un système peut suivre un objectif à la lettre tout en allant contre les intentions humaines, si ses consignes négligent des contraintes importantes. C’est pourquoi il faut concevoir des garde-fous et vérifier les résultats. Mais cette image ne prédit pas qu’une machine voudra vraiment produire des trombones : elle illustre, de façon simplifiée, le problème de l’alignement entre les objectifs d’un système et les valeurs humaines.